[論文レビュー] Large scale canonical correlation analysis with iterative least squares

Yichao Lu, Dean P. Foster|arXiv (Cornell University)|Jul 16, 2014

Face and Expression Recognition参考文献 16被引用数 39

ひとこと要約

本稿では、大規模かつスパースなデータセットにおける高速でスケーラブルな canonical correlation analysis (CCA) を実現するための反復的最小二乗法 L-CCA を提案する。高価な行列分解を回避することで、L-CCA は漸近的収束を達成し、既存の近似手法よりも優れた性能を示し、実世界のデータにおいて顕著な高速化と高い精度を達成した。

ABSTRACT

Canonical Correlation Analysis (CCA) is a widely used statistical tool with both well established theory and favorable performance for a wide range of machine learning problems. However, computing CCA for huge datasets can be very slow since it involves implementing QR decomposition or singular value decomposition of huge matrices. In this paper we introduce L-CCA, a iterative algorithm which can compute CCA fast on huge sparse datasets. Theory on both the asymptotic convergence and finite time accuracy of L-CCA are established. The experiments also show that L-CCA outperform other fast CCA approximation schemes on two real datasets.

研究の動機と目的

• 大規模かつスパースなデータセットにおける従来の CCA の計算ボトルネックを解消すること。
• 巨大な行列の高価な QR や SVD 分解を回避する、高速でスケーラブルな CCA の代替手法を開発すること。
• 提案手法の収束性および有限時間内での精度に関する理論的保証を確立すること。
• L-CCA の性能を、既存の高速 CCA 近似手法と比較して実験的に検証すること。

提案手法

• L-CCA は、大規模なデータ行列を明示的に構築または分解せずに、canonical correlations を計算する反復的最小二乗アプローチを採用する。
• 共役勾配法を用いて線形方程式系を交互に解くことで、スパースデータ上で効率的な計算を実現する。
• Canonical correlation analysis の構造を活用し、反復的に相関方向および canonical variates を改善する。
• 理論的分析により、漸近的収束が証明され、有限時間内での精度の上限が得られる。
• メモリ効率が良く、ストリーミングまたは分散処理環境にも適した設計である。

実験結果

リサーチクエスチョン

• RQ1 反復的最小二乗法は、大規模スパースデータセットにおける CCA の計算をより高速かつスケーラブルに実現できるか？
• RQ2 L-CCA は、標準的な CCA と比較して理論的収束性および有限時間内での精度を維持できるか？
• RQ3 L-CCA は、既存の高速 CCA 近似手法と比較して、性能および精度で優れているか？
• RQ4 L-CCA は、スパース表現を持つ実世界の大規模データセットを効果的に処理できるか？

主な発見

• L-CCA は、高価な行列分解を回避することで、従来の CCA より顕著な高速化を達成した。
• 標準的な仮定の下で、L-CCA は真の canonical correlations に漸近的に収束することが示された。
• 有限時間内での精度の境界が確立され、適切な反復回数内で信頼性の高い性能を発揮することが保証された。
• 2つの実世界のデータセットにおいて、L-CCA は他の高速 CCA 近似手法よりも速度と精度の両面で優れた性能を示した。