[논문 리뷰] Second-Order Stochastic Optimization for Machine Learning in Linear Time

Naman Agarwal, Brian Bullins외 1명|arXiv (Cornell University)|2016. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 42

한 줄 요약

이 논문은 LiSSA를 소개하며, 데이터 희소성에 비례하는 선형적인 반복 비용을 가지면서 뉴턴 방법과 유사한 수렴 속도를 달성하는 확률적 제2차 최적화 알고리즘을 제안한다. 이는 대규모 머신러닝을 위한 실용적인 제2차 최적화 방법을 가능하게 한다. 실행 시간에서 일阶 최적화 방법과 동등하거나 그 이상의 성능를 보이며, 이론적 보장과 실제 데이터셋에서의 경험적 성능도 유지한다.

ABSTRACT

First-order stochastic methods are the state-of-the-art in large-scale machine learning optimization owing to efficient per-iteration complexity. Second-order methods, while able to provide faster convergence, have been much less explored due to the high cost of computing the second-order information. In this paper we develop second-order stochastic methods for optimization problems in machine learning that match the per-iteration cost of gradient based methods, and in certain settings improve upon the overall running time over popular first-order methods. Furthermore, our algorithm has the desirable property of being implementable in time linear in the sparsity of the input data.

연구 동기 및 목표

• 기존 제2차 최적화 방법의 높은 반복 비용 문제를 해결하기 위해 효율적인 헤시안 행렬 근사 기법을 제공함으로써 대규모 머신러닝에서의 실용성을 높이기.
• 각 반복에서 선형 시간 복잡도를 달성하면서도 빠른 수렴 속도를 유지하는 확률적 제2차 알고리즘을 개발하기.
• 학습 예제 수가 차원 수를 초과하는 환경에서 기존 일阶 최적화 방법보다 증명 가능하게 빠른 실행 시간을 달성하기.
• 입력 데이터의 희소성에 비례하는 선형 시간 내에 실행 가능한 알고리즘을 보장하여 고차원 희소 데이터셋에 적합하게 만들기.
• 기존 방법보다 향상된 실행 시간 경계를 갖는 이론적 수렴 보장을 제공하기.

제안 방법

• 매트릭스 역행렬의 테일러 전개 기반으로 제안된 LiSSA는 확률적 헤시안 역행렬 추정기로서 효율적인 근사 뉴턴 스텝을 가능하게 한다.
• 개별 데이터 구성요소를 샘플링하여 헤시안 역행렬의 확률적 근사를 사용함으로써 반복 비용을 O(d)로 감소시킨다.
• 수렴성과 안정성을 제어하기 위해 S₁과 S₂를 매개변수로 사용하는 분산 감소 추정기 도입. 최적 성능를 위해 S₂는 O(κ ln κ)로 설정된다.
• LiSSA-Sample에서 [LMP13, CLM+15]의 행렬 샘플링 기법을 활용하여 m > d 영역에서 실행 시간 보장을 향상시킨다.
• 좌표계 불변성과 곡률 인식 능력을 갖추어 뉴턴 방법의 기하학적 이점을 계승한 알고리즘 설계.
• 실험 결과로 검증된 바와 같이 실무에서는 S₁ = 1 및 S₂ ≈ κ ln κ로 적응형 매개변수 조정을 수행한다.

실험 결과

연구 질문

• RQ1 반복 비용을 선형 시간으로 줄임으로써 제2차 최적화를 대규모 머신러닝에 실용적으로 적용할 수 있는가?
• RQ2 확률적 헤시안 역행렬 추정기가 뉴턴 방법과 유사한 수렴 속도를 달성하면서도 효율적인가?
• RQ3 학습 예제 수 m ≫ d 인 경우, 제안된 방법이 전체 실행 시간 측면에서 일阶 최적화 방법을 능가하는가?
• RQ4 알고리즘이 입력 데이터의 희소성에 대해 선형 시간 복잡도를 유지할 수 있는가? 이는 고차원 희소 데이터셋에서의 사용 가능성을 보장한다.
• RQ5 헤시안 역행렬 추정기의 분산을 제어할 수 있는가? 이는 실용적인 매개변수 설정에서도 이론적 수렴 경계를 확보할 수 있음을 의미한다.

주요 결과

• LiSSA는 ε-하위최적해에 도달하기 위해 총 실행 시간이 Õ((m + S₁κ)d log(1/ε))를 기록하며, 이론적으로 S₁은 O(κ²)로 유계이지만 실무에서는 종종 O(1)로 관측된다.
• 실제 데이터셋에서 반복 횟수 측면에서 일阶 최적화 방법보다 더 빠른 수렴 속도를 보이며, 벽 시계 시간 측면에서도 승리한다.
• LiSSA는 데이터 희소성에 대해 선형 시간 내에 실행되므로, 텍스트나 추천 시스템과 같은 고차원 희소 데이터에 매우 효율적이다.
• 실험 결과, S₂ ≈ κ ln κ로 설정한 LiSSA가 최고의 수렴 성능를 보이며, 이는 이론적 예측과 일치함을 입증한다.
• 좋은 조건을 가진 환경에서는 LiSSA가 가속화된 일阶 최적화 방법(APCG)을 능가하지만, 매우 악조건인 경우 κ에 의존하는 특성으로 인해 APCG가 우세하다.
• LiSSA-Sample는 m > d 영역에서 최신 기술의 볼록 최적화 방법보다 더 우수한 실행 시간 보장을 달성하며, 행렬 샘플링 기법을 활용한다.