[論文レビュー] An Inverse Power Method for Nonlinear Eigenproblems with Applications in 1-Spectral Clustering and Sparse PCA

Matthias Hein, Thomas Bühler|arXiv (Cornell University)|Dec 3, 2010

Sparse and Compressive Sensing Techniques参考文献 20被引用数 143

ひとこと要約

本稿では、1-スペクトルクラスタリングおよびスパースPCAに生じる非線形固有値問題を解くための一般化された逆べき乗法を提案する。ここで目的関数および制約は二次形式ではなくp-斉次関数である。本手法は収束性が保証されており、合成および実世界のデータセットにおいて、解の品質と実行時間の両面で最先端の性能を達成する。

ABSTRACT

Many problems in machine learning and statistics can be formulated as (generalized) eigenproblems. In terms of the associated optimization problem, computing linear eigenvectors amounts to finding critical points of a quadratic function subject to quadratic constraints. In this paper we show that a certain class of constrained optimization problems with nonquadratic objective and constraints can be understood as nonlinear eigenproblems. We derive a generalization of the inverse power method which is guaranteed to converge to a nonlinear eigenvector. We apply the inverse power method to 1-spectral clustering and sparse PCA which can naturally be formulated as nonlinear eigenproblems. In both applications we achieve state-of-the-art results in terms of solution quality and runtime. Moving beyond the standard eigenproblem should be useful also in many other applications and our inverse power method can be easily adapted to new problems.

研究の動機と目的

• 機械学習における標準的な二次固有値問題の限界を克服するため、制約付き最適化問題をより広いクラスの非線形固有値問題として定式化すること。
• 目的関数および制約がp-斉次、凸、リプシッツ連続である場合に、非線形固有ベクトルを計算する汎用的で収束性が保証されたアルゴリズムを開発すること。
• 非線形定式化がより優れたクラスタリング性能とスパarsity-解釈性のトレードオフを実現する2つの主要な教師なし学習問題—1-スペクトルクラスタリングおよびスパースPCA—に本手法を適用すること。
• ベンチマークデータセット上で、既存手法と比較して解の品質および計算効率の両面で優れていることを示すこと。

提案手法

• 非線形固有値問題を、$ R(f) $ と $ S(f) $ がp-斉次、凸、偶関数、リプシッツ連続であるときの比 $ F(f) = R(f)/S(f) $ の臨界点として定式化する。
• 一般化された逆べき乗法（IPM）を導出し、反復的に $ f^{k+1} = \arg\max_{\|f\|_p=1} \langle f, \nabla R(f^k) \rangle $ を更新し、$ S(f) = 1 $ を満たすように正規化することで、非線形固有ベクトルへの収束を保証する。
• Clarkeの一般化された勾配を用いて微分不可能性に対処し、臨界点を $ 0 \in \partial F(f) $ として定義することで、$ \ell_1 $-ノルムなどの非滑らかな関数への適用を可能にする。
• 1-ラプラシアン固有値問題をIPMで解くことで1-スペクトルクラスタリングに適応し、トータルバリエーションに類似した正則化を用いる。
• スパースPCAへの適用では、レイリー商に$ \ell_1 $-正則化を組み込み、スパarsityを実現するためのソフトスレッショーディング付きのパワー法を導出する。
• 線分探索と正規化ステップを用いて、$ \ell_2 $-または $ \ell_1 $-ノルムにおける単位ノルムを維持することで、安定性と収束性を確保する。

実験結果

リサーチクエスチョン

• RQ1 二次形式でないp-斉次な最適化問題に対して、収束性が保証された一般化された逆べき乗法を構築できるか？
• RQ2 1-スペクトルクラスタリングにおいて、本手法のIPMは収束保証および計算効率の面で既存手法と比較してどのように差をつけるか？
• RQ3 同じフレームワークをスパースPCAに適応することで、説明される分散とスパarsityの間のより優れたトレードオフを達成できるか？
• RQ4 実世界のデータセットにおいて、本手法は解の品質と実行時間の両面で最先端のアルゴリズムを上回るか？

主な発見

• 提案手法の逆べき乗法は、Szlam & Bresson (2011) のTVベース手法とは異なり、1-ラプラシアンの非線形固有ベクトルへの収束性が保証されている。
• 2つのモーナスデータセットにおける1-スペクトルクラスタリングでは、IPMは平均比チェーバー切断（RCC）が0.0195（±0.0015）を達成し、TVベース手法と同等の性能を示し、標準的スペクトルクラスタリング（0.0247）を著しく上回った。
• MNISTおよびUSPSデータセットでは、IPMが最良のRCut値（それぞれ0.1507および0.6661）を達成し、標準的スペクトルクラスタリングおよびTVベース手法を上回った。
• スパースPCAにおいて、IPMは解の品質がL1ベースのパワー法やEMベースのアルゴリズムと同一であり、説明される分散とスパarsityのトレードオフ曲線も同一であった。
• 2-ラプラシアンの2番目の固有ベクトルで初期化した場合でも、1回の実行で高い性能を維持でき、二分割クラスタリングにおいて標準的スペクトルクラスタリングと同等以上のカット性能を達成した。
• 実行時間の面でもTVベース手法と同等であり、MNIST（70,000点）のような大規模データセットに対しても効率的かつスケーラブルである。