[논문 리뷰] Second Order Stochastic Optimization in Linear Time.

Naman Agarwal, Brian Bullins외 1명|arXiv (Cornell University)|2016. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 42

한 줄 요약

이 논문은 효율적인 행렬 랜덤화 기법을 활용하여 각 반복 단계의 비용이 경사하강법과 유사한 수준이면서 선형 수렴를 달성하는 새로운 이阶 확률 최적화 방법을 제안한다. 이는 볼록 기준에서 선형 분류기 학습에 상당한 속도 향상을 보이며, 자가-일관 함수의 특수 케이스에서 일阶 방법이 조건수에 의존하지 않는 선형 수렴를 달성할 수 있음을 보여준다.

ABSTRACT

Stochastic optimization and, in particular, first-order stochastic methods are a cornerstone of modern machine learning due to their extremely efficient per-iteration computational cost. Second-order methods, while able to provide faster per-iteration convergence, have been much less explored due to the high cost of computing the second-order information. In this paper we develop a second-order stochastic method for optimization problems arising in machine learning based on novel matrix randomization techniques that match the per-iteration cost of gradient descent, yet enjoy the linear-convergence properties of second-order optimization. We also consider the special case of self-concordant functions where we show that a first order method can achieve linear convergence with guarantees independent of the condition number. We demonstrate significant speedups for training linear classifiers over several convex benchmarks.

연구 동기 및 목표

• 두 번째 차수 방법의 높은 계산 비용이 기계학습에서 실용적 사용을 제한하는 문제를 해결하기 위해.
• 일阶 방법의 낮은 각 반복 비용을 유지하면서도 두 번째 차수 방법의 빠른 선형 수렴를 달성하는 확률 최적화 방법을 개발하기 위해.
• 자기-일관 함수의 특수 케이스에서 일阶 방법이 조건수에 의존하지 않는 선형 수렴를 달성할 수 있는지 탐색하기 위해.
• 특히 선형 분류 작업에 대해 볼록 기준에서 제안된 방법을 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 두 번째 차수 정보를 효율적으로 근사하기 위해 새로운 행렬 랜덤화 기법을 사용하여 계산 오버헤드를 줄인다.
• 경사하강법과 유사한 각 반복 비용을 유지하면서도 곡률 정보를 통합하여 더 빠른 수렴를 달성한다.
• 자기-일관 함수의 경우, 조건수에 의존하지 않는 수렴 보장을 도출한다. 이는 중요한 이론적 향상이다.
• 완전한 헤시안 행렬 계산을 피하기 위해 랜덤라이즈드 헤시안 근사 기법을 사용하여 대규모 문제에 대한 확장성을 확보한다.
• 기존의 표준 확률 최적화 프레임워크와 호환되도록 설계되어 기존 학습 파ip라인에 원활하게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 각 반복 비용이 일阶 방법과 유사한 수준에서 두 번째 차수 정보를 확률 최적화에서 활용할 수 있는가?
• RQ2 행렬 랜덤화 기법을 통해 전체 수렴 속도를 희생시키지 않고 효율적인 헤시안 근사를 가능하게 할 수 있는가?
• RQ3 자기-일관 함수의 경우, 일阶 방법이 조건수에 의존하지 않는 선형 수렴를 달성할 수 있는가?
• RQ4 제안된 방법은 볼록 기준에서 일阶 및 이阶 기준과 비교해 수렴 속도와 학습 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 이阶 확률 최적화 방법은 경사하강법 수준의 계산 비용을 유지하면서도 선형 수렴를 달성한다.
• 여러 볼록 기준에서 선형 분류기 학습에 있어 상당한 속도 향상을 보이며, 표준 일阶 접근법을 능가한다.
• 자기-일관 함수의 경우, 일阶 변형은 조건수에 의존하지 않는 선형 수렴를 달성하는 보장을 갖는다.
• 행렬 랜덤화 기법은 낮은 비용으로 정확한 헤시안 근사를 가능하게 하여 이阶 방법을 대규모 기계학습에 실용적으로 적용할 수 있게 한다.