[論文レビュー] A Comparison of Relaxations of Multiset Cannonical Correlation Analysis and Applications

Jan Rupnik, Primož Škraba+2 more|arXiv (Cornell University)|Feb 5, 2013

Blind Source Separation Techniques参考文献 22被引用数 16

ひとこと要約

本稿では、非凸なQCQP問題としてのMulti-set Canonical Correlation Analysis (MCCA)のための半定値計画法（SDP）緩和を提案する。MCCAはNP困難であることが示されている。局所最適化手法は実際には良好に機能するが、SDP緩和はグローバルに有効な上限と近似保証を提供する。合成データおよび実世界のデータ（高次元の投影においても安定した性能を示す多言語間テキストマイニング含む）で検証された。

ABSTRACT

Canonical correlation analysis is a statistical technique that is used to find relations between two sets of variables. An important extension in pattern analysis is to consider more than two sets of variables. This problem can be expressed as a quadratically constrained quadratic program (QCQP), commonly referred to Multi-set Canonical Correlation Analysis (MCCA). This is a non-convex problem and so greedy algorithms converge to local optima without any guarantees on global optimality. In this paper, we show that despite being highly structured, finding the optimal solution is NP-Hard. This motivates our relaxation of the QCQP to a semidefinite program (SDP). The SDP is convex, can be solved reasonably efficiently and comes with both absolute and output-sensitive approximation quality. In addition to theoretical guarantees, we do an extensive comparison of the QCQP method and the SDP relaxation on a variety of synthetic and real world data. Finally, we present two useful extensions: we incorporate kernel methods and computing multiple sets of canonical vectors.

研究の動機と目的

• 局所最適化におけるMCCAのグローバル最適性保証の欠如に対処する。これは非凸なQCQP問題である。
• 構造化された定式化にもかかわらず、MCCAがNP困難であることを示す。
• 絶対的および出力に依存する近似保証を提供するスケーラブルなSDP緩和を開発する。
• 実用的用途のため、カーネルベースのMCCAおよび多次元の正規化ベクトル計算へと手法を拡張する。
• 合成データおよび実世界の多言語間テキストマイニング応用において、手法を検証する。

提案手法

• 複数のデータセット間のペアワイズ相関の和を最大化するように、MCCAを二次制約付き二次計画問題（QCQP）として定式化する。
• MCCA問題のNP困難性を証明し、緩和技術の必要性を正当化する。
• QCQPを凸な半定値計画問題（SDP）に緩和し、グローバルな上限と近似保証を可能にする。
• 高次元データ（例：テキスト）へのSDP適用を可能にするために、次元削減のためのランダムプロジェクションによる前処理ステップを導入する。
• 非線形関係を扱うためにカーネルMCCAへと手法を拡張し、各ビューごとに複数の正規化ベクトルを計算する。
• SDP緩和を用いて解の品質を検証し、再初期化による局所最適化を支援する。

実験結果

リサーチクエスチョン

• RQ1 構造化された定式化にもかかわらず、Multi-set Canonical Correlation Analysis (MCCA) はNP困難であるか？
• RQ2 半定値計画法（SDP）緩和は、MCCA解に対して信頼できるグローバルな上限と近似保証を提供できるか？
• RQ3 局所最適化（例：Horstアルゴリズム）と比較して、SDP緩和の解の品質と安定性はどのように異なるか？
• RQ4 ランダムプロジェクションによる次元削減は、大規模データにおけるタイトなSDP境界の計算能力を保持するか？
• RQ5 局所アルゴリズムが近似的に最適な解を見つけることができない状況はどのようなものか？また、SDPはそのような状況を特定または是正するのを支援できるか？

主な発見

• MCCA問題はNP困難であることが確認され、一般のインスタンスではグローバル最適解を求める理論的非効率性が裏付けられた。
• 合成データでは、局所最適化手法がしばしばグローバル境界から大きな差を示す部分最適解に収束することがあり、特に低次元で顕著であった。
• 高次元では、局所手法が良好に機能し、SDP緩和の双対ギャップが小さく、タイトな境界を示した。
• 5ヶ国語のEuroParl言語を用いた多言語間テキストマイニングでは、ランダムプロジェクションベクトルの正則化（γ=0.9）により、訓練およびテストセットで安定した性能が得られ、テスト時の相関の和は9.6に達した。
• SDP緩和は、次元削減後のデータにおいて、局所最適化アルゴリズムと一貫して同等の結果を生成した。これは、問題が適切に条件付けられている場合、局所解がしばしばグローバルに近い最適解であることを示唆している。
• ランダムプロジェクションの前処理とSDP緩和の組み合わせにより、メモリ制限を克服し、高次元テキストデータへの境界の有効な利用が可能になった。