[論文レビュー] Faster Principal Component Regression via Optimal Polynomial Approximation to sgn(x).

Zeyuan Allen Zhu, Yuanzhi Li|arXiv (Cornell University)|Aug 16, 2016

Stochastic Gradient Optimization Techniques参考文献 16被引用数 5

ひとこと要約

この論文では、符号関数の最適多項式近似を用いて、主成分回帰（PCR）の高速化アルゴリズムを提示している。この手法により、固有ベクトルを明示的に計算しないで上位の主成分部分空間への射影が可能となり、ブラックボックス型リッジ回帰の呼び出し回数を Õ(γ⁻²) から Õ(γ⁻¹) に削減し、大規模なPCRにおいても計算効率が向上する。

ABSTRACT

We solve principle component regression (PCR) by providing an efficient algorithm to project any vector onto the subspace formed by the top principle components of a matrix. Our algorithm does not require any explicit construction of the top principle components, and therefore is suitable for large-scale PCR instances. Specifically, to project onto the subspace formed by principle components with eigenvalues above a threshold $\lambda$ and with a multiplicative accuracy $(1\pm \gamma) \lambda$, our algorithm requires $ ilde{O}(\gamma^{-1})$ black-box calls of ridge regression. In contrast, previous result requires $ ilde{O}(\gamma^{-2})$ such calls. We obtain this result by designing a degree-optimal polynomial approximation of the sign function.

研究の動機と目的

• 上位の主成分を近似するために多数のリッジ回帰呼び出しが必要な従来のPCR手法の計算非効率性を解消すること。
• 固有ベクトルを明示的に計算・保存せずに、上位の主成分部分空間への射影を実現すること。
• 所望の精度パラメータ γ に対して、理論的に速い収束速度を達成すること。
• 度数が最適な符号関数の多項式近似を設計し、計算を効率的に行えるようにすること。

提案手法

• 上位固有空間への射影に不可欠な符号関数 sgn(x) の度数最適多項式近似を用いる。
• 固有値が閾値 λ より大きい場合に、指定された誤差許容範囲 (1±γ)λ 内で sgn(x) を近似する多項式を構築する。
• リッジ回帰操作を繰り返し適用することで、行列に多項式近似を適用する。
• 多項式の度数の最適性を活用して、必要なリッジ回帰呼び出し回数を Õ(γ⁻²) から Õ(γ⁻¹) に削減する。
• 多項式近似を用いて、固有分解を明示的に行わずに任意のベクトルを上位の主成分部分空間に暗黙的に射影する。
• リッジ回帰オракルへのアクセスのみに依存するブラックボックス型の方法を保つ。

実験結果

リサーチクエスチョン

• RQ1 従来の手法の Õ(γ⁻²) の境界を下回るリッジ回帰呼び出し回数でPCRを実行できるか？
• RQ2 固有値が λ より大きい場合に (1±γ)λ の精度を達成するための符号関数 sgn(x) の多項式近似の最小度数は何か？
• RQ3 このような最適多項式をブラックボックス的に効率的に適用し、上位の主成分部分空間への射影を計算できるか？
• RQ4 このアプローチは、大規模な設定において計算コストを著しく削減しながらも、精度を維持できるか？
• RQ5 符号関数 sgn(x) の多項式近似を用いることで、従来の反復的手法と比較してPCRでどのように高速収束を達成できるか？

主な発見

• 提案されたアルゴリズムにより、必要なリッジ回帰呼び出し回数が Õ(γ⁻²) から Õ(γ⁻¹) に削減され、精度パラメータ γ に対して2次的な高速化が達成された。
• 固有ベクトルを明示的に計算・保存せずに、閾値 λ より大きい固有値に対して (1±γ)λ の精度で射影が可能である。
• 度数が最適な符号関数 sgn(x) の多項式近似により、計算オーバーヘッドが最小限に抑えられ、反復回数の理論的最適性が保証される。
• ブラックボックス型であるため、リッジ回帰オラクルへのアクセスのみを必要とし、大規模および分散環境に適している。
• 高価な固有値分解ステップを回避することで、効率的な大規模PCRが可能になる。
• 理論的解析により、必要なリッジ回帰呼び出し回数の観点で、この手法が最適であることが確認された。