[논문 리뷰] Stochastic Dual Coordinate Ascent with Adaptive Probabilities

Dominik Csiba, Zheng Qu외 1명|arXiv (Cornell University)|2015. 02. 27.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 31

한 줄 요약

이 논문은 최적화 중에 이중 변수에 대한 선택 확률을 동적으로 조정하는 적응형 확률 선택 기법을 도입한 AdaSDCA를 제안한다. 이는 고정 확률 중요도 샘플링보다 더 나은 이론적 수렴 속도를 달성한다. 또한 AdaSDCA+라는 실용적 변종을 도입하여 다양한 데이터셋에서의 실험에서 비적응형 방법보다 뛰어난 성능을 보였다.

ABSTRACT

This paper introduces AdaSDCA: an adaptive variant of stochastic dual coordinate ascent (SDCA) for solving the regularized empirical risk minimization problems. Our modification consists in allowing the method adaptively change the probability distribution over the dual variables throughout the iterative process. AdaSDCA achieves provably better complexity bound than SDCA with the best fixed probability distribution, known as importance sampling. However, it is of a theoretical character as it is expensive to implement. We also propose AdaSDCA+: a practical variant which in our experiments outperforms existing non-adaptive methods.

연구 동기 및 목표

• 고정 확률 분포의 한계를 해결함으로써, 확률적 이중좌표상승법(SDCA)에서 최적화 수렴 속도가 최적화되지 않을 수 있음을 해결한다.
• 최적화의 진행 상황에 따라 선택 확률을 동적으로 업데이트하는 이론적으로 열등하지 않은 적응형 방법을 개발한다.
• 이론적 버전의 계산 비용을 감안할 때도 강력한 성능을 유지하는 실용적 변종을 설계한다.
• 실험을 통해 제안된 적응형 방법이 기존 비적응형 SDCA 방법보다 반복 횟수와 런타임 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• 현재 반복값 정보를 기반으로 매 반복마다 이중 변수에 대한 확률 분포를 수정하는 SDCA의 적응형 변종인 AdaSDCA를 제안한다.
• 최적화가 진행됨에 따라 이중 변수의 중요도가 변화하는 것을 반영하는 동적 확률 업데이트 규칙을 사용하여 수렴 복잡도를 향상시킨다.
• 고정 확률 방법 중 최고 성능을 보이는 중요도 샘플링보다 이론적으로 더 나은 복잡도 상한을 유도한다.
• 온라인으로 이중 변수 진행 상황을 추정하여 적응 확률을 근사하는 방법을 사용하는 계산 효율성이 높은 변종인 AdaSDCA+를 도입한다.
• 부드럽고 강하게 볼록인 손실 함수와 정규화 함수를 가진 정규화된 경험 위험 최소화 문제에 적용한다.
• 볼록 쌍대성 이론을 활용하여 이중 문제를 표현하고, 닫힌 형태의 해를 통한 좌표 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 SDCA에서 적응형 확률 선택이 고정 확률 중요도 샘플링보다 이론적으로 더 나은 수렴 복잡도를 달성할 수 있는가?
• RQ2 이중 공간에서 최적화 중에 선택 확률을 동적으로 조정할 경우 이론적 영향은 어떠한가?
• RQ3 실제로는 어떻게 적응 확률을 근사할 수 있으며, 계산 비용을 줄이면서도 성능을 유지할 수 있는가?
• RQ4 제안된 적응형 방법은 실제 세계 데이터셋에서 반복 횟수와 런타임 측면에서 비적응형 SDCA 변종보다 뛰어나게 성능을 발휘하는가?
• RQ5 AdaSDCA+의 성능은 미니배치 크기 m과 같은 하이퍼파rameter에 얼마나 민감한가?

주요 결과

• AdaSDCA는 고정 확률 방법(중요도 샘플링 포함)보다 이론적으로 더 나은 수렴 복잡도 상한을 확보한다. 이는 적응형 확률 선택 덕분이다.
• AdaSDCA의 이론적 이점은 높은 계산 비용으로 인해 직접 구현하기에는 실용적이지 않다.
• AdaSDCA+는 적응성의 성능 이점을 유지하면서도 계산 가능성이 있는 실용적 대안으로 제안된다.
• w8a, dorothea, mushrooms, cov1 등의 데이터셋에서의 실험 결과, AdaSDCA+는 반복 횟수와 런타임 모두에서 비적응형 방법보다 뛰어난 성능을 보였다.
• AdaSDCA+는 다양한 데이터셋과 손실 함수(이차 손실 및 부드러운 허프 손실 포함)에서 안정적인 성능을 유지한다.
• 최적의 미니배치 크기 m는 데이터셋에 따라 달라지며, 이는 적응형 방법이 문제에 맞는 튜닝을 통해 성능 향상을 얻을 수 있음을 시사한다. 그러나 AdaSDCA+는 다양한 m 값 범위에서 강력한 성능을 보였다.