[論文レビュー] Efficient Globally Convergent Stochastic Optimization for Canonical Correlation Analysis

Weiran Wang, Jialei Wang+2 more|arXiv (Cornell University)|Apr 7, 2016

Blind Source Separation Techniques被引用数 5

ひとこと要約

本稿では、正則相関分析（CCA）の非凸的で制約付きの最適化問題を、近似的に解ける最小二乗部分問題の系列に変換する2つのグローバル収束性を有する確率的最適化アルゴリズム——逐次最小二乗法（ALS）とシフト・アンド・インバースプリコンディショニング（SI）——を提案する。これらの手法は、先行研究に比べて時間計算量を改善し、確率的CCAアルゴリズムにおける初めてのグローバル収束保証を提供する。

ABSTRACT

We study the stochastic optimization of canonical correlation analysis (CCA), whose objective is nonconvex and does not decouple over training samples. Although several stochastic gradient based optimization algorithms have been recently proposed to solve this problem, no global convergence guarantee was provided by any of them. Inspired by the alternating least squares/power iterations formulation of CCA, and the shift-and-invert preconditioning method for PCA, we propose two globally convergent meta-algorithms for CCA, both of which transform the original problem into sequences of least squares problems that need only be solved approximately. We instantiate the meta-algorithms with state-of-the-art SGD methods and obtain time complexities that significantly improve upon that of previous work. Experimental results demonstrate their superior performance.

研究の動機と目的

• 既存の確率的勾配ベースのCCAアルゴリズムに見られるグローバル収束保証の欠如に対処すること。
• データのスパarsityを活用し、明示的な共分散行列の計算を回避する大規模CCAに適した効率的な確率的最適化手法の開発。
• 非凸的で制約付きのCCA目的関数を、近似的に解ける最小二乗問題の系列に変換すること。
• 先行の確率的CCA手法に比べ、収束速度を向上させ、時間計算量を改善すること。
• 特異値ギャップ条件の下で理論的グローバル収束を保証すること

提案手法

• CCAを一般化固有値問題として定式化し、一方のビューを固定して他方のビューについて逐次最適化する、逐次最小二乗法（ALS）フレームワークを活用する。
• CCA問題をシフトされた固有値問題に再定式化するため、シフト・アンド・インバースプリコンディショニング（SI）を適用し、効率的なパワー反復型の更新を可能にする。
• 両メタアルゴリズム内において、近似最小二乗ソルバー（例：SGD、SVRG、AGD）を用い、条件数および特異値ギャップによって収束を制御する。
• シフトパラメータが主要固有値から有界に離れるように保証することで、デフラクション戦略を導入し、グローバル収束を維持する。
• 最小二乗部分問題において、分散低減技術（例：SVRG）を統合し、収束を加速する。
• 最適解との内積を用いて測定される真の正準ベクトルとの整合性に基づく収束基準を定義する

実験結果

リサーチクエスチョン

• RQ1 目的関数が非凸的かつ結合的であるにもかかわらず、確率的CCAアルゴリズムがグローバル収束を達成できるか？
• RQ2 CCA問題を、効率的な確率的近似に適した、最小二乗問題の系列に再定式化できるか？
• RQ3 標準的な仮定の下で、グローバル収束性を有する確率的CCAアルゴリズムの時間計算量は何か？
• RQ4 提案手法は、先行の確率的CCA手法と比較して収束速度および計算効率において優れているか？
• RQ5 プリコンディショニングおよび分散低減技術の使用が、確率的CCAにおける保証可能な高速収束をもたらすか？

主な発見

• 提案されたALSおよびSIメタアルゴリズムは、正の特異値ギャップ条件の下で、確率的CCAに対してグローバル収束性を達成する。
• 時間計算量は先行研究に比べ顕著に改善されており、主要な項は $\tilde{\mathcal{O}}\left(dN\tilde{\kappa}\frac{\rho_1^2}{\rho_1^2 - \rho_2^2} \log(1/\eta)\right)$ である。ここで $\tilde{\kappa}$ は最小二乗問題の条件数の上界を表す。
• メタアルゴリズム内に加速勾配法（AGD）およびSVRGを用いることで、収束が著しく速くなり、特に $\tilde{\kappa} > N$ の場合に顕著である。
• Mediamill、JW11、MNISTデータセットにおける実験結果から、収束速度および最適解との整合性の両面で優れた性能を示した。
• アルゴリズムは、データサイズおよび次元数に伴い、良好にスケーリングする時間内に $\eta$-最適解に近い整合性を達成し、理論的・実践的両面で s-AppGrad や CCALin を上回った。
• 理論的解析により、収束速度が特異値ギャップ $\Delta = \rho_1 - \rho_2$ に依存することが示され、ギャップが大きいほど収束が速くなることが明らかになった。