[논문 리뷰] Accelerated Stochastic Power Iteration

Christopher De, Bryan He외 3명|PubMed|2017. 07. 10.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 20

한 줄 요약

이 논문은 샘플 및 반복 복잡도에서 가속된 수렴를 달성하는 확률적 파워 반복법에 모멘텀을 도입한 것을 제안한다. 이는 랭크조스의 최적 $Ø(1/\sqrt{\Delta})$ 속도를 따라가며 간단함과 병렬 처리 가능성도 유지한다. 분산 역학을 분석하고 모멘텀을 분산 감소 또는 미니배치와 조합함으로써, 복잡한 행렬 역행렬 기법을 요구하지 않고도 병렬 환경에서 벽시계 시간 가속을 달성할 수 있다.

ABSTRACT

Principal component analysis (PCA) is one of the most powerful tools in machine learning. The simplest method for PCA, the power iteration, requires <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:mi>Δ</mml:mi> <mml:mo>)</mml:mo></mml:mrow> </mml:math> full-data passes to recover the principal component of a matrix with eigen-gap Δ. Lanczos, a significantly more complex method, achieves an accelerated rate of <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> passes. Modern applications, however, motivate methods that only ingest a subset of available data, known as the stochastic setting. In the online stochastic setting, simple algorithms like Oja's iteration achieve the optimal sample complexity <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mrow><mml:mo>(</mml:mo> <mml:mrow><mml:msup><mml:mi>σ</mml:mi> <mml:mn>2</mml:mn></mml:msup> <mml:mo>/</mml:mo> <mml:msup><mml:mi>Δ</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> <mml:mo>)</mml:mo></mml:mrow> </mml:mrow> </mml:math> . Unfortunately, they are fully sequential, and also require <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mrow><mml:mo>(</mml:mo> <mml:mrow><mml:msup><mml:mi>σ</mml:mi> <mml:mn>2</mml:mn></mml:msup> <mml:mo>/</mml:mo> <mml:msup><mml:mi>Δ</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> <mml:mo>)</mml:mo></mml:mrow> </mml:mrow> </mml:math> iterations, far from the <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> rate of Lanczos. We propose a simple variant of the power iteration with an added momentum term, that achieves both the optimal sample and iteration complexity. In the full-pass setting, standard analysis shows that momentum achieves the accelerated rate, <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> . We demonstrate empirically that naively applying momentum to a stochastic method, does not result in acceleration. We perform a novel, tight variance analysis that reveals the "breaking-point variance" beyond which this acceleration does not occur. By combining this insight with modern variance reduction techniques, we construct stochastic PCA algorithms, for the online and offline setting, that achieve an accelerated iteration complexity <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> . Due to the embarassingly parallel nature of our methods, this acceleration translates directly to wall-clock time if deployed in a parallel environment. Our approach is very general, and applies to many non-convex optimization problems that can now be accelerated using the same technique.

연구 동기 및 목표

• 완전한 반복 방법인 랭크조스의 가속 수렴 속도와 확률적 주성분 분석 방법 간 격차를 메우기 위해.
• 기존의 확률적 방법이 최적의 샘플 복잡도는 달성하지만 최적의 반복 복잡도를 달성하지 못하는 한계를 해결하기 위해.
• 복잡한 행렬 역행렬 기법을 요구하지 않고도 단순한 모멘텀 기반 방법이 확률적 주성분 분석에서 가속을 달성할 수 있음을 보여주기 위해.
• 분산 인식 모멘텀을 사용하여 비볼록 최적화 문제를 가속화하는 일반화 가능한 프레임워크를 개발하기 위해.
• 온라인 및 오프라인 확률적 환경에서 쉽게 병렬화 가능한 실행을 통해 벽시계 시간 가속을 가능하게 하기 위해.

제안 방법

• 모멘텀이 기대값에서 수렴을 가속화하는 확률적 파워 반복법을 제안한다.
• 모멘텀이 수렴 가속을 실패하는 '균열점 분산'을 특정하기 위해 새로운 정밀한 분산 분석을 수행한다.
• 분산을 제어하고 가속을 보장하기 위해 미니배치와 분산 감소 샘플링이라는 두 가지 분산 감소 기법을 도입한다.
• 체비셰프 다항식을 사용하여 반복값의 분산에 대한 정확한 표현을 유도하고 수렴 행동을 분석한다.
• 모멘텀과 분산 감소를 조합하여 확률적 환경에서 $Ø(1/\sqrt{\Delta})$의 가속된 반복 복잡도를 유지한다.
• 메서드의 매우 병렬화 가능한 성격을 활용하여 반복 수준의 가속을 벽시계 시간 속도 향상으로 번역한다.

실험 결과

연구 질문

• RQ1 모멘텀 기반 확률적 파워 반복법는 확률적 환경에서 랭크조스의 가속된 $Ø(1/\sqrt{\Delta})$ 반복 복잡도를 달성할 수 있는가?
• RQ2 샘플 분산과 모멘텀이 확률적 주성분 분석에서 수렴 가속을 실패하는 정확한 관계는 무엇인가?
• RQ3 일반적인 모멘텀이 실패할 경우, 분산 감소 또는 미니배치를 통해 가속을 복구할 수 있는가?
• RQ4 단순한 비볼록 최적화 방법을 사용하여 최적의 샘플 복잡도와 최적의 반복 복잡도를 동시에 달성할 수 있는가?
• RQ5 제안된 방법은 다른 비볼록 최적화 문제에 일반화될 수 있는가?

주요 결과

• 제안된 모멘텀 기반 확률적 주성분 분석 알고리즘은 $Ø(1/\sqrt{\Delta})$의 반복 복잡도를 달성하여, 전체 반복 설정에서 랭크조스의 가속 속도를 따라간다.
• 확률적 파워 반복에 모멘트를 단순히 적용하는 것은 높은 분산으로 인해 실질적으로 수렴을 가속화하지 못한다.
• 체비셰프 다항식 분석을 통해 모멘텀이 수렴 가속을 실패하는 정확한 '균열점 분산' 임계값을 규명한다.
• 모멘텀과 분산 감소 또는 미니배치를 조합함으로써, 최적의 샘플 복잡도 $Ø(\sigma^2/\Delta^2)$와 최적의 반복 복잡도 $Ø(1/\sqrt{\Delta})$를 동시에 달성한다.
• 매우 병렬화 가능한 아키텍처 덕분에 병렬 환경에서 벽시계 시간 가속을 달성한다.
• 이 방법은 다른 비볼록 최적화 문제로 일반화 가능하며, 복잡한 행렬 역행렬 기반 가속 기법을 대체할 수 있는 단순한 모멘텀과 분산 제어의 효과를 보여준다.