[論文レビュー] Stochastic Approximation for Canonical Correlation Analysis

Raman Arora, Teodor V. Marinov+2 more|arXiv (Cornell University)|Feb 22, 2017

Blind Source Separation Techniques被引用数 17

ひとこと要約

本稿では、正規化行列勾配（capped-MSG）と行列指数勾配（MEG）の2つの1次確率的近似アルゴリズムを、標準的相関分析（CCA）に対して提案する。これらの手法は、母集団の目的関数において ϵ-最適性を O(1/ϵ²) 回の反復で達成する。非分解可能で比に基づくCCAの目的関数を、有界なノイズを伴う不正確な勾配推定値を用いることで扱い、大規模データセットへの効率的なスケーリングを可能にするとともに、共分散行列にやや厳しい条件が課せられるが理論的収束保証を維持する。

ABSTRACT

We propose novel first-order stochastic approximation algorithms for canonical correlation analysis (CCA). Algorithms presented are instances of inexact matrix stochastic gradient (MSG) and inexact matrix exponentiated gradient (MEG), and achieve $ε$-suboptimality in the population objective in $\operatorname{poly}(\frac{1}ε)$ iterations. We also consider practical variants of the proposed algorithms and compare them with other methods for CCA both theoretically and empirically.

研究の動機と目的

• 大規模データセットを効率的かつスケーラブルに処理できる、CCAのための効率的でスケーラブルな1次確率的近似アルゴリズムの開発。
• CCAにおける非分解可能目的関数の課題に対処する。ここでは相関目的関数が期待値の比として定式化されるため、標準的な確率的勾配法は適用できない。
• 有界なノイズを伴う不正確な勾配オракルを用いる場合の、確率的CCAアルゴリズムの理論的収束保証の提供。
• 既存手法を上回る実行時間と収束速度を達成する、アルゴリズムの実用的変種の設計。
• 母集団自己共分散行列の最小固有値に下限を仮定することで、CCA問題の適切な定式化を保証。

提案手法

• 不正確なプロキシマル勾配降下法の具体例として、capped-MSG と MEG-CCA を提案。不正確な勾配推定値に有界な加法的誤差を用いる。
• 制約付き問題を正規直交制約を持つ等価問題に変換するため、CCA問題の再パrameter化（U = Cx^{1/2}Ũ および V = Cy^{1/2}Ṽ）を採用。
• 各反復でBregman射影（正確なプロキシマルステップ）を用いて、正規直交制約下での妥当性を維持。
• capped-MSG では勾配更新にキャッピング機構を導入し、ステップサイズの制御と安定性・収束性の向上を図る。
• 不正確なプロキシマル勾配法の枠組みを用いて収束を分析し、勾配誤差が有界な条件下で O(1/√T) の収束速度を示す。
• 実験では、MSG および MEG アルゴリズムの両方に対して、ステップサイズ方針 ηt = 0.1/√t を採用。

実験結果

リサーチクエスチョン

• RQ1 1次確率的近似アルゴリズムは、O(1/ϵ²) 回の反復で母集団CCA目的関数において ϵ-最適性に到達できるか？
• RQ2 非分解可能で比に基づくCCA目的関数を扱うために、確率的勾配法をどのように変更すればよいか？
• RQ3 勾配推定値に有界なノイズが存在する場合、不正確なプロキシマル勾配法をCCAに適用したときの収束挙動はいかなるものか？
• RQ4 提案されたアルゴリズムの実用的変種は、実行時間と収束速度の面で既存のCCAソルバーを上回ることができるか？
• RQ5 MediaMill などの実世界の多視点データセットにおいて、特に共分散行列が悪条件である場合に、提案手法はどのように性能を発揮するか？

主な発見

• MediaMill データセットにおいて、capped-MSG は全体の実行時間の観点で MEG や他のベースラインを上回った。
• MEG および capped-MSG は、母集団目的関数において O(1/ϵ²) の反復で ϵ-最適性に到達し、標準的確率的近似の理論的収束速度と一致した。
• 実験結果から、CCALin および ALS CCA は1反復あたりの性能が MEG や capped-MSG を上回るが、capped-MSG のほうが反復あたりの実行時間が速いため、全体の性能で上回った。
• 理論的分析により、累積勾配誤差 E = O(√T) であることが示され、不正確なプロキシマル勾配フレームワーク下で O(1/√T) の収束速度に十分であることが裏付けられた。
• 母集団自己共分散行列が悪条件であっても、最小固有値が正の定数で下限されれば、アルゴリズムは依然として有効に機能する。
• CCALin や ALS CCA とは異なり、提案手法は固有値ギャップの事前知識を必要としない。