[論文レビュー] The Sparse Eigenvalue Problem

Bharath K. Sriperumbudur, David A. Torres+1 more|arXiv (Cornell University)|Jan 12, 2009

Sparse and Compressive Sensing Techniques参考文献 44被引用数 3

ひとこと要約

本稿では、スパース固有値問題における基数制約のよりタイトな近似を、スチューデントのt分布の負の対数尤度を用いて提案し、d.c.プログラミングを用いた主要化最小化によりグローバル収束を達成する最適化問題として定式化する。これにより、遺伝子発現およびドキュメントリtrievalタスクにおいて、より優れたスパarsityと性能を示すスパースPCA、CCA、FDAが可能になる。

ABSTRACT

In this paper, we consider the sparse eigenvalue problem wherein the goal is to obtain a sparse solution to the generalized eigenvalue problem. We achieve this by constraining the cardinality of the solution to the generalized eigenvalue problem and obtain sparse principal component analysis (PCA), sparse canonical correlation analysis (CCA) and sparse Fisher discriminant analysis (FDA) as special cases. Unlike the ℓ1-norm approximation to the cardinality constraint, which previous methods have used in the context of sparse PCA, we propose a tighter approximation that is related to the negative log-likelihood of a Student’s t-distribution. The problem is then framed as a d.c. (difference of convex functions) program and is solved as a sequence of convex programs by invoking the majorization-minimization method. The resulting algorithm is proved to exhibit global convergence behavior. The performance of the algorithm is empirically demonstrated on both sparse PCA (finding few relevant genes that explain as much variance as possible in a high-dimensional gene dataset) and sparse CCA (cross-language document retrieval and vocabulary selection for music retrieval) applications.

研究の動機と目的

• 次元削減および特徴選択のための一般化固有値問題においてスパース解を得る課題に対処すること。
• ℓ1ノルム正則化よりもタイトな基数制約の近似を構築し、スパarsityと解釈可能性を向上させること。
• 制約付き一般化固有値問題を用いてスパースPCA、CCA、FDAを統一的な枠組みで統合すること。
• d.c.プログラミングと主要化最小化を用いて最適化アルゴリズムのグローバル収束を保証すること。
• 高次元の生物学的およびテキストデータ上で本手法の実証的妥当性を検証し、優れた性能を示すこと。

提案手法

• ℓ1ノルムによる基数の近似を、スチューデントのt分布の負の対数尤度に基づくよりタイトな代替関数に置き換える。
• スパース固有値問題を、2つの凸関数の差として表されるd.c.プログラミングに再定式化する。
• 主要化最小化アルゴリズムを採用し、収束を保証するための逐次的な凸部分問題を繰り返し解く。
• 各ステップで非凸目的関数を上回る凸上界（主要化）を構築することで、アルゴリズムがグローバル収束を維持する。
• それぞれの一般化固有値定式化に同じ最適化戦略を適用することで、スパースPCA、スパースCCA、スパースFDAへ自然に拡張可能である。
• 本手法は、高次元の遺伝子発現およびクロス言語ドキュメントリtrievalを含む実世界のデータセットに適用されている。

実験結果

リサーチクエスチョン

• RQ1 ℓ1ノルム法と比較して、基数制約のよりタイトな近似は、スパース固有値問題におけるスパarsityと性能を向上させるか？
• RQ2 主要化最小化を用いた提案されたd.c.プログラミングアプローチは、スパース固有値計算においてグローバル収束を保証するか？
• RQ3 遺伝子選択およびクロス言語ドキュメントリtrievalなどの実用的応用において、本手法はどのように性能を発揮するか？
• RQ4 スパースPCA、CCA、FDAにおいて、スチューデントのt分布に基づく近似は、ℓ1ノルムに比べてどれほどスパarsityを効果的に誘導するか？
• RQ5 統一されたフレームワークは、単一の最適化パラダイムのもとで多様なスパース学習タスクを効果的に処理できるか？

主な発見

• 提案手法は、ℓ1ノルムよりもタイトな基数近似を用いることで、スパースPCAにおけるより良いスパarsityと解釈可能性を達成する。
• 主要化最小化アルゴリズムによりグローバル収束が保証され、最適化の安定性に関する理論的保証が得られる。
• 実証的結果から、高次元の遺伝子発現データから関連遺伝子を効果的に同定できることが示された。
• スパースCCAを用いたクロス言語ドキュメントリtrievalおよび音楽語彙選択タスクにおいて、本手法は顕著な有効性を示した。
• 一般化固有値問題の文脈において、スチューデントのt分布を用いることで、ℓ1正則化よりもスパarsityの近似がより正確になった。
• フレームワークはスパースPCA、CCA、FDAに自然に一般化され、スパース部分空間学習の統一的アプローチを提供した。