[論文レビュー] Faster Principal Component Regression and Stable Matrix Chebyshev Approximation

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Aug 16, 2016

Matrix Theory and Algorithms参考文献 20被引用数 9

ひとこと要約

この論文は、主成分回帰（PCR）のためのより高速なアルゴリズムを提示する。これは、リッジ回帰のブラックボックス呼び出しを O(γ⁻¹ log(1/γε)) 回に削減することで、従来の方法に比べて二乗の改善を達成する。このアプローチは、行列チェビシェフ多項式の安定な再帰と、行列の符号関数への近似度数がほぼ最適な多項式近似を用いる。これにより、明示的なPCA計算なしに、効率的かつ正確な低ランク射影が可能になる。

ABSTRACT

We solve principal component regression (PCR), up to a multiplicative accuracy $1+\\gamma$, by reducing the problem to $\ ilde{O}(\\gamma^{-1})$ black-box calls of ridge regression. Therefore, our algorithm does not require any explicit construction of the top principal components, and is suitable for large-scale PCR instances. In contrast, previous result requires $\ ilde{O}(\\gamma^{-2})$ such black-box calls. We obtain this result by developing a general stable recurrence formula for matrix Chebyshev polynomials, and a degree-optimal polynomial approximation to the matrix sign function. Our techniques may be of independent interests, especially when designing iterative methods.

研究の動機と目的

• 主成分数に線形に依存する古典的手法によるPCRの計算不能性に対処する。
• PCPおよびPCRに使用するための行列の符号関数への効率的で安定した近似を構築する。
• 先行研究に比べ、リッジ回帰の呼び出し回数を二乗改善し、O(γ⁻² log(1/ε)) から O(γ⁻¹ log(1/γε)) に削減する。
• 制限的な固有値ギャップ仮定を必要としない、(γ, ε)-近似PCPおよびPCRのフレームワークを提供する。
• チェビシェフ多項式評価の安定な後退再帰を構築することで、反復計算における数値的安定性を確保する。

提案手法

• 行列の符号関数の多項式近似に帰着することで、PCPおよびPCRを変換 S = (AᵀA + λI)⁻¹(AᵀA − λI) を通じて扱う。
• 第二種チェビシェフ多項式に基づく安定な再帰を用いて、g(x) ≈ sign(x) となる多項式を構築する。
• 係数が O(1/γ) で有界なチェビシェフ和を用いて、関数 (1 + κ − x)⁻¹/² を近似する。これにより、安定な評価が可能になる。
• 各ステップで O(ε′) の誤差を持つ後退再帰を用いて行列多項式 g(S)χ を計算し、定理6.4により全体の誤差が O(ε) に保たれるようにする。
• リッジ回帰ソルバー（例：SVRG）が、対数的精度オーバーヘッドでブラックボックスとして利用可能であることに着目する。
• PCP（ベクトルの射影）およびPCR（上位部分空間における回帰の解法）の両方の応用に、それぞれ別個のパrameterチューニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 O(γ⁻² log(1/ε)) よりも少ないリッジ回帰呼び出し回数で、(γ, ε)-近似PCRを達成できるか？
• RQ2 近似的に最適な次数 O(γ⁻¹ log(1/γε)) を有する、行列の符号関数への安定な多項式近似を構築可能か？
• RQ3 固有値ギャップ仮定が満たされない現実のデータセットにも適用可能なか？
• RQ4 各ステップの誤差が有界な反復計算において、チェビシェフ多項式の後退再帰が精度を保持できるか？
• RQ5 PCPおよびPCRの両方の応用に、(γ, ε)-近似保証が保証されるフレームワークに拡張可能か？

主な発見

• 提案手法により、リッジ回帰の呼び出し回数が O(γ⁻¹ log(1/γε)) に削減され、従来の O(γ⁻² log(1/ε)) の二乗の高速化が達成された。
• 固有値ギャップ仮定を必要とせず、実世界のデータセットに適用可能である。(γ, ε)-近似PCPおよびPCRを達成した。
• 数値的に安定である：最終誤差は O(ε′γ⁻⁴n³) · ∥χ∥ で有界であり、log(1/ε′) = Θ(log(1/εγ)) のとき、総誤差は O(ε)∥χ∥ に保たれる。
• q(x) ≈ (1 + κ − x)⁻¹/² と g(x) = x · q(1 + κ − 2x²) を用いた g(x) の構築により、近似的に最適な次数 Θ(γ⁻¹ log(1/γε)) を達成した。
• フレームワークはPCPおよびPCRの両方に適用可能である：PCRでは、n = Θ(γ⁻¹ log(1/γλε))、m = Θ(log(1/εγ))、log(1/ε′) = Θ(log(1/εγ)) が必要となる。
• 解析により、Frostigたちは、(γ, ε)-近似の性質3（[0, ν] 内の任意のベクトルへの射影）を満たすことが確認され、安定性と完全性に関する未解決の問いが解決された。