[論文レビュー] Stochastic Canonical Correlation Analysis

Chao Gao, Dan Garber+3 more|arXiv (Cornell University)|Jan 1, 2019

Random Matrices and Applications被引用数 13

ひとこと要約

本稿は、確率的正準相関分析（CCA）のサンプル複雑度を確立し、サンプルの$\mathcal{O}(\log \frac{1}{\epsilon})$回のパスで、確率的シフト・インバース・パワー法を用いて、canonical directionsの$\epsilon$-精度の推定が達成できることを示している。この手法は、特異値ギャップ$\Delta$および条件数$\gamma$に依存する最適なサンプル複雑度を達成し、1回のデータパスで処理可能なストリーミングバージョンを備えている。

ABSTRACT

We study the sample complexity of canonical correlation analysis (CCA), \ie, the number of samples needed to estimate the population canonical correlation and directions up to arbitrarily small error. With mild assumptions on the data distribution, we show that in order to achieve $\epsilon$-suboptimality in a properly defined measure of alignment between the estimated canonical directions and the population solution, we can solve the empirical objective exactly with $N(\epsilon, \Delta, \gamma)$ samples, where $\Delta$ is the singular value gap of the whitened cross-covariance matrix and $1/\gamma$ is an upper bound of the condition number of auto-covariance matrices. Moreover, we can achieve the same learning accuracy by drawing the same level of samples and solving the empirical objective approximately with a stochastic optimization algorithm; this algorithm is based on the shift-and-invert power iterations and only needs to process the dataset for $\mathcal{O}\left(\log \frac{1}{\epsilon} ight)$ passes. Finally, we show that, given an estimate of the canonical correlation, the streaming version of the shift-and-invert power iterations achieves the same learning accuracy with the same level of sample complexity, by processing the data only once.

研究の動機と目的

• 母集団の正準相関および正準方向を$\epsilon$-精度で推定するために必要な最小サンプル数を特定すること。
• やや弱い分布的仮定の下で、正確および近似的な経験的CCA解のサンプル複雑度を分析すること。
• 大幅に削減されたデータパス回数で同じ精度を達成する確率的最適化手法を開発すること。
• 1回のデータ処理で同じサンプル複雑度を維持するストリーミングアルゴリズムを設計すること。

提案手法

• 経験的CCA目的関数の近似的な解法を実現するため、シフト・インバース・パワー反復に基づく確率的最適化フレームワークを提案する。
• 収束解析において、ホワイトナイズド相互共分散行列の特異値ギャップ$\Delta$と条件数$\gamma$を主要パラメータとして用いる。
• 主徴と準主徴の特異値のギャップを拡大することで収束を向上させるため、シフト・インバース変換を適用する。
• 推定された正準方向と母集団正準方向の間のアライメントにおける$\epsilon$-準最適性を達成するためのサンプル複雑度$N(\epsilon, \Delta, \gamma)$を導出する。
• データを1回のパスで処理しつつ、同じサンプル複雑度を維持するシフト・インバース・パワー法のストリーミング版を設計する。
• 正確および近似的な経験的解の両方が、同じサンプル数で同じ$\epsilon$-精度を達成することを確立する。

実験結果

リサーチクエスチョン

• RQ1 やや弱い分布的仮定の下で、CCAにおける正準方向の$\epsilon$-精度推定に必要な最小サンプル数は何か？
• RQ2 経験的CCA目的関数の近似解法を用いた確率的最適化は、正確な手法と同等のサンプル複雑度を達成できるか？
• RQ3 確率的アルゴリズムがCCA推定において$\epsilon$-精度に到達するために必要なデータパス回数はどれくらいか？
• RQ4 ストリーミングアルゴリズムは、1回のデータ処理で同じサンプル複雑度を達成できるか？
• RQ5 特異値ギャップ$\Delta$および条件数$\gamma$は、CCAのサンプル複雑度にどのように影響するか？

主な発見

• 正準方向アライメントにおける$\epsilon$-準最適性を達成するためのサンプル複雑度は、$N(\epsilon, \Delta, \gamma)$であり、特異値ギャップ$\Delta$および条件数$\gamma$に依存する。
• 経験的CCA目的関数を正確に解くことで、やや弱い分布的仮定の下で$N(\epsilon, \Delta, \gamma)$サンプルで$\epsilon$-精度が達成される。
• シフト・インバース・パワー反復に基づく確率的最適化アルゴリズムは、同じサンプル複雑度で同じ$\epsilon$-精度を達成し、データパス回数は$\mathcal{O}(\left(\log \frac{1}{\epsilon}\right))$にまで削減される。
• シフト・インバース・パワー法のストリーミング版は、データセットを1回のみ処理するが、同じ学習精度とサンプル複雑度を維持する。
• 確率的手法の収束速度は$\mathcal{O}(\log \frac{1}{\epsilon})$パスで制御され、フルバッチ手法と比較して計算オーバーヘッドを顕著に低減する。
• 理論的境界は与えられた仮定のもとでタイトであり、提案手法がCCAにおける最適なサンプル複雑度を達成していることを示している。