[論文レビュー] A D.C. Programming Approach to the Sparse Generalized Eigenvalue Problem

Bharath K. Sriperumbudur, David Torres-Moreno+1 more|ArXiv.org|Jan 12, 2009

Advanced Optimization Algorithms Research参考文献 61被引用数 10

ひとこと要約

本稿では、スチューデントのt分布の負の対数尤度に基づくより緊密なカーディナリティ近似を用いて、スパース一般化固有値問題に対するD.C.プログラミング手法を提案する。この手法は、局所的収束を保証するマジョライゼーション・ミニマイゼーション（MM）アルゴリズムを採用し、スパースPCAおよびCCAの応用において、$β$-ノルム手法を上回るスパarsityと解釈可能性を実現する。

ABSTRACT

In this paper, we consider the sparse eigenvalue problem wherein the goal is to obtain a sparse solution to the generalized eigenvalue problem. We achieve this by constraining the cardinality of the solution to the generalized eigenvalue problem and obtain sparse principal component analysis (PCA), sparse canonical correlation analysis (CCA) and sparse Fisher discriminant analysis (FDA) as special cases. Unlike the $\ell_1$-norm approximation to the cardinality constraint, which previous methods have used in the context of sparse PCA, we propose a tighter approximation that is related to the negative log-likelihood of a Student's t-distribution. The problem is then framed as a d.c. (difference of convex functions) program and is solved as a sequence of convex programs by invoking the majorization-minimization method. The resulting algorithm is proved to exhibit \emph{global convergence} behavior, i.e., for any random initialization, the sequence (subsequence) of iterates generated by the algorithm converges to a stationary point of the d.c. program. The performance of the algorithm is empirically demonstrated on both sparse PCA (finding few relevant genes that explain as much variance as possible in a high-dimensional gene dataset) and sparse CCA (cross-language document retrieval and vocabulary selection for music retrieval) applications.

研究の動機と目的

• 高次元データ解析における一般化固有値問題におけるスパース解の取得という課題に対処すること。
• 標準的な$β$-ノルムよりもタイトなカーディナリティ制約の近似を、スチューデントのt分布の負の対数尤度を用いて開発すること。
• スパース一般化固有値問題をD.C.プログラムとして定式化し、グローバル収束を保証するマジョライゼーション・ミニマイゼーション（MM）アルゴリズムで解くこと。
• 特に遺伝子選択および異言語ドキュメント検索の応用において、スパースPCA、CCA、FDAへの有効性を示すこと。

提案手法

• カーディナリティ制約をt分布に基づく近似で表現することで、問題をD.C.プログラム（凸関数の差）として再定式化する。
• マジョライゼーション・ミニマイゼーション（MM）アルゴリズムを適用し、D.C.目的関数を逐次的に最小化する凸部分問題を繰り返し解く。
• アルゴリズムはグローバル収束を保証する：任意の乱数初期化から出発しても、D.C.プログラムの停留点に収束する。
• スパースPCA（共分散行列と単位行列を用いる）、スパースCCA（共分散行列と偏共分散行列を用いる）、スパースFDA（クラス間およびクラス内散乱行列を用いる）といった特定の応用例に適応する。
• 特別な場合（$β = ∞$ および $β = 0$）では、更新式が双対問題とラグランジュ緩和から導かれるソフトスレッショングに類似した操作に簡略化される。
• 非凸項の線形マジョライゼーションによりアルゴリズムを導出し、各反復で凸部分問題が保証される。

実験結果

リサーチクエスチョン

• RQ1 スパース一般化固有値問題において、スパarsityと解の品質を向上させるために、カーディナリティ制約に対するよりタイトな近似を開発可能か？
• RQ2 t分布に基づく正則化を用いたD.C.プログラミングアプローチは、スパースPCAおよびCCAにおいて$β$-ノルム緩和法よりも優れた収束性とスパarsityを達成できるか？
• RQ3 マジョライゼーション・ミニマイゼーションフレームワークは、一般条件下でスパース一般化固有値問題に対してグローバル収束を保証できるか？
• RQ4 実世界のデータセット（遺伝子発現データや異言語ドキュメント検索）において、本手法は既存の手法と比較してどのように性能を発揮するか？

主な発見

• 本稿で提案するt分布に基づくカーディナリティ近似を用いたD.C.プログラミング手法は、スパースPCAおよびCCAにおいて$β$-ノルム緩和法を上回るスパarsityと解の品質を達成する。
• MMアルゴリズムはグローバル収束を示す：任意の乱数初期化から出発しても、D.C.プログラムの停留点に収束する。
• 実験結果から、高次元遺伝子データセットにおける関連遺伝子の同定において、スパースPCAで優れた性能が得られることを示す。
• 本手法は、スパースCCAを用いて音楽アノテーションタスクにおける効果的な異言語ドキュメント検索と語彙選択を可能にする。
• 特別な場合（$β = 0$）におけるアルゴリズムの更新式は、双対問題とラグランジュ緩和から導かれる正規化されたソフトスレッショング操作に簡略化される。
• 理論的分析により、部分問題が凸であり、全体のアルゴリズムが適切に定義され、収束することが確認された。