[論文レビュー] A Randomized Algorithm for CCA

Paul Mineiro, Nikos Karampatziakis|arXiv (Cornell University)|Nov 13, 2014

Stochastic Gradient Optimization Techniques参考文献 19被引用数 18

ひとこと要約

この論文は、ランダム化された範囲探索と低ランク近似を用いて、2回のデータ走査で高い精度を達成する、高速でスケーラブルなCanonical Correlation Analysis (CCA)のアルゴリズム、RandomizedCCAを紹介する。反復手法（例：Horst反復）の効率的な初期化器としても機能し、内在的な正則化のおかげで一般化性能が優れており、計算コストの増加が最小限である大規模データセットにおいて、標準的手法を上回る性能を示す。

ABSTRACT

We present RandomizedCCA, a randomized algorithm for computing canonical analysis, suitable for large datasets stored either out of core or on a distributed file system. Accurate results can be obtained in as few as two data passes, which is relevant for distributed processing frameworks in which iteration is expensive (e.g., Hadoop). The strategy also provides an excellent initializer for standard iterative solutions.

研究の動機と目的

• 大規模データセットがコア外または分散システムに格納されている場合の、従来のCCAの計算非効率性を解消すること。
• 収束に数百回の走査を要する反復手法（例：Horst反復）が要する高コストなデータ走査回数を削減すること。
• 分散環境や高レイテンシ環境において収束を加速するための、高速で正確な反復CCAソルバーの初期化子を提供すること。
• 正則化設定を変化させた場合の、ランダム化CCAと標準的反復手法との間で一般化性能を比較すること。
• ランダム化CCAが有益な暗黙の正則化を提供し、未知のデータに対してテスト性能が向上することを実証すること。

提案手法

• アルゴリズムは、ガウス確率的行列を用いて、交差相関行列 $\mathbf{A}^\top\mathbf{B}$ の主要部分空間を近似するランダム化範囲探索を用いる。
• データ上で $q$ 回のパワー反復を実行し、行列-ベクトル積 $\mathbf{A}^\top\mathbf{B}\mathbf{Q}_b$ および $\mathbf{B}^\top\mathbf{A}\mathbf{Q}_a$ を用いて範囲近似 $\mathbf{Q}_a$ と $\mathbf{Q}_b$ を更新する。
• 範囲近似の後、小規模な共分散行列 $\mathbf{C}_a = \mathbf{Q}_a^\top\mathbf{A}^\top\mathbf{A}\mathbf{Q}_a$、$\mathbf{C}_b = \mathbf{Q}_b^\top\mathbf{B}^\top\mathbf{B}\mathbf{Q}_b$ および共通共分散行列 $\mathbf{F} = \mathbf{Q}_a^\top\mathbf{A}^\top\mathbf{B}\mathbf{Q}_b$ を計算する。
• 正則化付きコレスキー分解 $\mathbf{L}_a = \mathrm{chol}(\mathbf{C}_a + \lambda_a \mathbf{Q}_a^\top\mathbf{Q}_a)$ および $\mathbf{L}_b = \mathrm{chol}(\mathbf{C}_b + \lambda_b \mathbf{Q}_b^\top\mathbf{Q}_b)$ を用いて、射影を正規化する。
• 最終的なCCA方向は、正規化された共通共分散行列 $\mathbf{F}$ のSVDを計算し、$\mathbf{X}_a = \sqrt{n} \mathbf{Q}_a \mathbf{L}_a^{-1} \mathbf{U}$ を用いて元の空間に再投影することで得られる。
• スケールフリーな正則化パrameter化 $\lambda_a = \nu \mathrm{Tr}(\mathbf{A}^\top\mathbf{A})/d_a$ を用いることで、データセットに依存しない安定した性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化アルゴリズムは、Horst反復のような反復手法と同等のCCA精度を達成しながら、2回のデータ走査で十分か？
• RQ2 RandomizedCCAは、標準的なランダム初期化やゼロ初期化よりも、反復ソルバーの初期化として優れているか？
• RQ3 正則化をテスト性能に最適化した場合、RandomizedCCAの一般化性能は反復手法と比べてどうか？
• RQ4 正則化を明示的に最適化しない状況でも、ランダム化アプローチが一般化性能を向上させる内在的正則化を提供するか？
• RQ5 過剰サンプリング数 $p$ およびパワー反復回数 $q$ が、解の収束性と精度に与える影響は何か？

主な発見

• q=2 および p=2000 の場合、RandomizedCCAはトレーニングの正規化相関係数が 56.666、テスト相関係数が 56.528 に達し、120回の走査を要するHorst反復に近い性能を示した。
• RandomizedCCA（p=1000、q=1）で初期化した場合、Horst反復は合計34回のデータ走査で収束し、単一ノード上で合計時間は899秒から636秒に短縮された。
• ν=0.01 の場合、RandomizedCCAはテスト相関係数56.860を達成し、同じνを用いたHorst反復（56.628）を上回り、最良のHorst反復の性能と一致した。
• アルゴリズムは機械精度で妥当性を保ち、すべての射影が単位（正則化付き）共分散を持ち、共通共分散行列が対角であることを確認した。
• 図3は、RandomizedCCAがHorst反復よりも正則化パrameter ν に対して感受性が低く、より頑健な一般化性能を示していることを示している。
• この手法は、PCA回帰におけるリッジ回帰に類似した、$\mathbf{A}^\top\mathbf{B}$ の主要スペクトルに最適化を集中させることで、暗黙の正則化を提供する。