[論文レビュー] Non-Convex Rank Minimization via an Empirical Bayesian Approach

David Wipf|arXiv (Cornell University)|Aug 9, 2014

Sparse and Compressive Sensing Techniques参考文献 11被引用数 19

ひとこと要約

本稿では、変分近似を用いた経験的ベイズ枠組みに基づく非凸なランク最小化手法を提案する。この手法は、制約下でランク関数のグローバル・ミニマを保持しつつ、局所的ミニマを滑らかにする。ノルムの緩和とは異なり、凸的手法が失敗する状況でも低ランク行列を効果的に回復でき、スパースな汚染が存在するロバストPCAにおいて優れた性能を示す。

ABSTRACT

In many applications that require matrix solutions of minimal rank, the underlying cost function is non-convex leading to an intractable, NP-hard optimization problem. Consequently, the convex nuclear norm is frequently used as a surrogate penalty term for matrix rank. The problem is that in many practical scenarios there is no longer any guarantee that we can correctly estimate generative low-rank matrices of interest, theoretical special cases notwithstanding. Consequently, this paper proposes an alternative empirical Bayesian procedure build upon a variational approximation that, unlike the nuclear norm, retains the same globally minimizing point estimate as the rank function under many useful constraints. However, locally minimizing solutions are largely smoothed away via marginalization, allowing the algorithm to succeed when standard convex relaxations completely fail. While the proposed methodology is generally applicable to a wide range of low-rank applications, we focus our attention on the robust principal component analysis problem (RPCA), which involves estimating an unknown low-rank matrix with unknown sparse corruptions. Theoretical and empirical evidence are presented to show that our method is potentially superior to related MAP-based approaches, for which the convex principle component pursuit (PCP) algorithm (Candes et al., 2011) can be viewed as a special case.

研究の動機と目的

• 凸的核ノルム緩和法の限界を是正すること。特に、非凸的かつNP困難な状況下で、真の低ランク構造を回復できない問題を解決すること。
• 一般的な制約下でランク関数のグローバル・ミニマを保持する手法を開発すること。これにより、凸緩和によって生じる部分最適解を回避すること。
• 特にスパースな汚染が存在する状況において、MAPに基づく手法（例：凸的PCPアルゴリズム）の代替手段を提供すること。
• 理論的保証が核ノルム法では不十分な実用的状況において、正確な低ランク行列推定を可能にすること。
• ロバストPCA応用において、既存の凸的および非凸的代替手法に比べ、提案手法の優位性を示すこと。

提案手法

• 低ランク行列に階層的事前分布を導入し、潜在変数の周辺化を可能にする経験的ベイズ枠組みを採用する。
• 真の事後分布を近似するための実行可能な目的関数を導出するために、変分近似を用いる。
• 固定ランクや低ランク構造といった一般的な制約下で、ランク関数と同じグローバル・ミニマを保持する非凸最適化目的関数を構築する。
• ベイズ的周辺化により局所的ミニマを平滑化し、初期値への感度を低減し、グローバル解への収束性を向上させる。
• 低ランク成分とスパースな汚染を条件付き独立な事前分布としてモデル化することで、ロバストPCAにこの手法を適用する。
• 変分下界を活用し、低ランク行列とスパースな汚染の推定を交互に繰り返す反復的最適化アルゴリズムを導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸的ランク最小化アプローチは、局所的ミニマを回避しながらも、ランク関数のグローバル・ミニマを保持できるか？
• RQ2 経験的ベイズ的周辺化は、凸的核ノルム緩和法と比較して、低ランク行列回復を改善するか？
• RQ3 提案手法は、スパースな汚染が存在するロバストPCAにおいて、凸的PCPアルゴリズムに比べてどのように性能を発揮するか？
• RQ4 どのような実用的状況で、提案手法は既存のMAPベースの手法を上回るか？
• RQ5 理論的整合性を保ちつつ、真のランク関数と一致するが、計算的に実行可能であるか？

主な発見

• 核ノルム緩和法とは異なり、一般的な制約下でランク関数と同じグローバル・ミニマ点推定を保持する。
• 条件が悪化したり、強いスパースな汚染が存在する状況でも、凸緩和法が失敗する中で、低ランク行列を効果的に回復できた。
• 実験的結果から、特に高汚染度の状況下で、凸的PCPアルゴリズムに比べてロバストPCAタスクにおいて優れた性能を示した。
• 初期値への感受性が低く、標準的な非凸最適化技術に比べてより優れた解に収束した。
• 理論的分析により、周辺化が局所的ミニマを効果的に抑制し、非凸設定下でもグローバル収束を可能にすることが確認された。
• MAPベース手法に対する原理的代替手段を提供し、特にスパースな汚染下での低ランク回復において、推定精度が向上した。