[論文レビュー] A greedy approach to sparse canonical correlation analysis

Ami Wiesel, Mark Kliger+1 more|ArXiv.org|Jan 17, 2008

Blind Source Separation Techniques参考文献 19被引用数 36

ひとこと要約

本稿では、スパースな canonical correlation analysis (CCA) のためのグリーディな前向きおよび後ろ向きアルゴリズムを提案する。この手法は、一度の実行で全スパースネスパスを効率的に計算しつつ、直接的にスパarsityを制御する。大規模なシミュレーションにおいて、変数の半数未満で最大相関の90％以上を達成できることから、サンプル数が限られた高次元データに特に適している。

ABSTRACT

We consider the problem of sparse canonical correlation analysis (CCA), i.e., the search for two linear combinations, one for each multivariate, that yield maximum correlation using a specified number of variables. We propose an efficient numerical approximation based on a direct greedy approach which bounds the correlation at each stage. The method is specifically designed to cope with large data sets and its computational complexity depends only on the sparsity levels. We analyze the algorithm's performance through the tradeoff between correlation and parsimony. The results of numerical simulation suggest that a significant portion of the correlation may be captured using a relatively small number of variables. In addition, we examine the use of sparse CCA as a regularization method when the number of available samples is small compared to the dimensions of the multivariates.

研究の動機と目的

• 限られたサンプル数における高次元設定において、解釈可能で安定的かつ計算的に効率的な CCA のニーズに対応すること。
• 既存のスパース CCA メソッドが直接的なスパarsity制御を欠き、計算コストが高いため、その限界を克服すること。
• サンプル数が変数次元に対して小さい場合の CCA における正則化戦略を提供すること。
• 一度の実行で全スパースネスパスを生成するため、ハイパーパramータチューニングを効率的に行えるようにすること。
• 実験的シミュレーションを通じて、スパース CCA が正則化手法として有効であることを示すこと。

提案手法

• 各ステップで最適 CCA 解の境界を用いて、相関を最大化するように変数を逐次追加する前向きグリーディアルゴリズムを提案する。
• 相関への寄与に基づいて変数を繰り返し削除する後ろ向きグリーディアルゴリズムを導入し、スパarsity制御を維持する。
• 各段階での最適化を完全に解くのを避けるために、スパース CCA 問題の緩和を用い、計算コストを低減する。
• 全データ次元に依存しないスパarsityレベルにのみ依存する直接近似戦略を採用し、スケーラビリティを向上させる。
• 一度のパスで全スパースネスパスが生成可能であることに着目し、ハイパーパramータチューニングのための効率的な交差検証を可能にする。
• スパース PCA（例：[17]）の技術を、2つの多変量データソースを扱う CCA フレームワークに適応・拡張する。

実験結果

リサーチクエスチョン

• RQ1 グリーディアプローチは、直接的なスパarsity制御と低コストでスパース CCA 解を効率的に計算できるか？
• RQ2 特に低スパarsityレベルにおいて、グリーディ手法は最適なスパース解と比較してどの程度相関を保持できるか？
• RQ3 サンプル数が次元に対して小さい場合、スパース CCA がどの程度正則化手法として有効であるか？
• RQ4 相関と単純さ（parsimony）のトレードオフは、異なるスパarsityレベルでどのように変化するか？
• RQ5 高いスパarsityまたは高い相関を優先する場合、前向きおよび後ろ向きグリーディ戦略の性能はどのように比較できるか？

主な発見

• 大規模なシミュレーション（n = m = 1000）において、前向きグリーディアルゴリズムは変数の半数未満を用いて最大 CCA 相関の90％以上を達成した。
• 変数の25％未満を用いても、グリーディ手法は全相関のおよそ80％を達成しており、強力な単純さと効率のトレードオフを示している。
• 高い相関を優先する場合、後ろ向きグリーディ手法は前向き手法を上回る性能を示したが、厳密なスパarsity制約下では前向き手法が優れた結果を出した。
• 低サンプル状態（n = m = 10, N = 20）では、スパース CCA は標準 CCA や DCCA よりも顕著に相関推定を改善し、中間的なスパarsityレベルで性能がピークに達した。
• グリーディ手法が生成する全スパースネスパスにより、交差検証が効率的に行え、ハイパーパramータ選択の信頼性が向上した。
• スパース CCA を用いた変数選択は、サンプル数が共分散推定に十分でない場合に、相関推定を改善する有効な正則化戦略となった。