[论文解读] Accelerated Stochastic Power Iteration

Christopher De, Bryan He+3 more|PubMed|Jul 10, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用 20

一句话总结

该论文提出了一种带有动量的随机幂迭代方法，在样本复杂度和迭代复杂度上均实现了加速收敛，其收敛速率与Lanczos方法的最优 $Ø(1/\sqrt{\Delta})$ 速率一致，同时保持了方法的简洁性与可并行性。通过分析方差动态，并将动量与方差减少或小批量技术结合，该方法在无需复杂矩阵求逆技术的前提下，实现了并行环境下的实际运行时间加速。

ABSTRACT

Principal component analysis (PCA) is one of the most powerful tools in machine learning. The simplest method for PCA, the power iteration, requires <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:mi>Δ</mml:mi> <mml:mo>)</mml:mo></mml:mrow> </mml:math> full-data passes to recover the principal component of a matrix with eigen-gap Δ. Lanczos, a significantly more complex method, achieves an accelerated rate of <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> passes. Modern applications, however, motivate methods that only ingest a subset of available data, known as the stochastic setting. In the online stochastic setting, simple algorithms like Oja's iteration achieve the optimal sample complexity <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mrow><mml:mo>(</mml:mo> <mml:mrow><mml:msup><mml:mi>σ</mml:mi> <mml:mn>2</mml:mn></mml:msup> <mml:mo>/</mml:mo> <mml:msup><mml:mi>Δ</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> <mml:mo>)</mml:mo></mml:mrow> </mml:mrow> </mml:math> . Unfortunately, they are fully sequential, and also require <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mrow><mml:mo>(</mml:mo> <mml:mrow><mml:msup><mml:mi>σ</mml:mi> <mml:mn>2</mml:mn></mml:msup> <mml:mo>/</mml:mo> <mml:msup><mml:mi>Δ</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> <mml:mo>)</mml:mo></mml:mrow> </mml:mrow> </mml:math> iterations, far from the <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> rate of Lanczos. We propose a simple variant of the power iteration with an added momentum term, that achieves both the optimal sample and iteration complexity. In the full-pass setting, standard analysis shows that momentum achieves the accelerated rate, <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> . We demonstrate empirically that naively applying momentum to a stochastic method, does not result in acceleration. We perform a novel, tight variance analysis that reveals the "breaking-point variance" beyond which this acceleration does not occur. By combining this insight with modern variance reduction techniques, we construct stochastic PCA algorithms, for the online and offline setting, that achieve an accelerated iteration complexity <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> . Due to the embarassingly parallel nature of our methods, this acceleration translates directly to wall-clock time if deployed in a parallel environment. Our approach is very general, and applies to many non-convex optimization problems that can now be accelerated using the same technique.

研究动机与目标

• 弥合随机PCA方法与Lanczos等全遍历方法所达到的加速收敛速率之间的差距。
• 解决现有随机方法虽达到最优样本复杂度但未达到最优迭代复杂度的局限性。
• 证明简单基于动量的方法可在无需复杂矩阵求逆技术的前提下实现随机PCA中的加速。
• 提出一种可推广的框架，通过基于方差感知的动量来加速非凸优化问题。
• 通过在线与离线随机设置下的天然并行执行，实现实际运行时间的加速。

提出的方法

• 提出一种带有动量的随机幂迭代方法，其中动量可加速期望收敛。
• 进行了一项新颖且紧致的方差分析，以识别动量失效加速的‘临界方差’阈值。
• 引入两种方差减少技术：小批量法与方差减少采样，以控制方差并确保加速。
• 利用切比雪夫多项式推导出迭代值方差的精确表达式，并分析收敛行为。
• 将动量与方差减少结合，确保在随机设置下保持加速的 $Ø(1/\sqrt{\Delta})$ 迭代复杂度。
• 利用该方法天然并行的特性，将迭代层面的加速转化为实际运行时间的提速。

实验结果

研究问题

• RQ1 基于动量的随机幂迭代能否在随机设置下实现与Lanczos方法相当的加速 $Ø(1/\sqrt{\Delta})$ 迭代复杂度？
• RQ2 样本方差与动量在随机PCA中失效加速之间的精确关系是什么？
• RQ3 当朴素动量在随机设置下失效时，能否通过方差减少或小批量技术恢复加速？
• RQ4 是否可能使用一种简单、非凸优化方法同时实现最优样本复杂度与最优迭代复杂度？
• RQ5 所提出的方法能否推广至其他需要加速的非凸优化问题？

主要发现

• 所提出的基于动量的随机PCA算法实现了 $Ø(1/\sqrt{\Delta})$ 的迭代复杂度，与全遍历设置下Lanczos方法的加速速率一致。
• 将动量直接应用于随机幂迭代时，由于方差过高，实际收敛中主导了性能，导致无法实现加速。
• 本文通过切比雪夫多项式分析，精确识别出动量失效加速的‘临界方差’阈值。
• 通过将动量与方差减少或小批量技术结合，该方法同时实现了最优样本复杂度 $Ø(\sigma^2/\Delta^2)$ 与最优迭代复杂度 $Ø(1/\sqrt{\Delta})$。
• 由于方法具有天然并行结构，该方法在并行环境中实现了实际运行时间的加速。
• 该方法可推广至其他非凸优化问题，表明基于方差控制的简单动量可替代复杂的基于矩阵求逆的加速技术。