[論文レビュー] Optimal Solutions for Sparse Principal Component Analysis

Alexandre d’Aspremont, Francis Bach+1 more|arXiv (Cornell University)|Jul 4, 2007

Sparse and Compressive Sensing Techniques参考文献 20被引用数 90

ひとこと要約

本稿では、すべてのスパarsityレベルに対してO(n³)時間でグローバル最適解を効率的に計算できる、スパース主成分分析（SPCA）のための新しい半定値緩和法を提案する。グリーディアルゴリズムを用いて全解パスを生成し、1次元の凸最小化問題における二分探索を用いて、任意の候補解のグローバル最適性を検証可能な実用的な十分条件を提示する。

ABSTRACT

Given a sample covariance matrix, we examine the problem of maximizing the variance explained by a linear combination of the input variables while constraining the number of nonzero coefficients in this combination. This is known as sparse principal component analysis and has a wide array of applications in machine learning and engineering. We formulate a new semidefinite relaxation to this problem and derive a greedy algorithm that computes a full set of good solutions for all target numbers of non zero coefficients, with total complexity O(n^3), where n is the number of variables. We then use the same relaxation to derive sufficient conditions for global optimality of a solution, which can be tested in O(n^3) per pattern. We discuss applications in subset selection and sparse recovery and show on artificial examples and biological data that our algorithm does provide globally optimal solutions in many cases.

研究の動機と目的

• 高次元データにおける解釈可能性を維持しながら、説明分散を最大化するスパース主成分を求める課題に対処すること。
• スパースPCAのNP困難性を克服し、効率的なグローバル最適化を可能にする凸緩和を開発すること。
• 1からnまでのすべてのターゲットスパarsityレベルについて、全解パスを計算する計算効率の良いアルゴリズムを提供すること。
• 任意の候補解のグローバル最適性を確認する十分条件を導出し、1次元の凸最小化問題における二分探索を用いてO(n³)時間でテスト可能にすること。
• 人工的および生物学的データセット上で本手法の有効性を示し、多くの場合にグローバル最適解に到達することを示す。

提案手法

• サンプル共分散行列Σとスパarsityを制御するρを用いて、zᵀΣz − ρ·Card(z)を最大化する非凸問題としてスパースPCAを定式化する。
• 凸性を保ちつつ効率的な解パス計算を可能にする、新しい半定値緩和法を提案する。
• 対称行列の最大固有値の凸性を活用して、1からnまでの全スパarsityレベルについての候補解の集合をO(n³)の合計時間で計算するグリーディアルゴリズムを開発する。
• 1次元の凸最小化問題に基づくグローバル最適性の十分条件を導出し、二分探索によって解ける。
• コーシーの留数定理と行列摂動理論を用いて固有値の挙動を分析し、最適性条件を導出する。
• 本手法をサブセット選択およびスパース回復に応用し、標準PCAを超えた実用的意義を示す。

実験結果

リサーチクエスチョン

• RQ1 既存の手法よりも、すべてのスパarsityレベルについてグローバル最適なスパース主成分を、より効率的に計算できるか？
• RQ2 スパースPCAの凸緩和を導出し、高速な解パス計算とグローバル最適性の証明の両方を可能にすることができるか？
• RQ3 本手法は、実データおよび合成データにおいて、従来のヒューリスティック法やグリーディ法よりも解の品質に優れるか？
• RQ4 全探索を伴わずに、与えられたスパース解がグローバルに最適であるかどうかを効率的にテストする方法は何か？
• RQ5 グローバル最適性の保証を伴う全解パスを計算する計算複雑度は何か？

主な発見

• 提案されたグリーディアルゴリズムは、1からnまでの全スパarsityレベルについての候補解のパスをO(n³)の合計時間で計算し、従来のグリーディ法のO(n⁴)と比べて顕著に高速化された。
• 本手法は、1次元の凸最小化問題における二分探索を用いて、1つの候補解についてO(n³)時間でグローバル最適性を検証する十分条件を提供する。
• 人工的および生物学的データセットにおいて、多くの場合にグローバル最適解に到達し、強力な経験的性能を示した。
• 本手法で用いられる半定値緩和は、以前の緩和よりもタイトで効果的であり、より良いグローバル最適性の検証を可能にした。
• 本手法は、サブセット選択およびスパース回復問題への効率的な応用を可能にし、標準的なスパースPCAを超えた有用性を拡張した。
• 理論的分析により、本手法の最適性テストが実行可能かつ信頼性があり、スパースPCA解の検証に実用的なツールを提供することが確認された。