[論文レビュー] Sparse and Unique Nonnegative Matrix Factorization Through Data Preprocessing

Nicolas Gillis|arXiv (Cornell University)|Apr 11, 2012

Sparse and Compressive Sensing Techniques参考文献 40被引用数 110

ひとこと要約

本稿では、非負値行列分解（NMF）のスパarsityと一意性を向上させるために、入力行列を逆正のM行列で変換する新しいデータ前処理手法を提案する。分離可能性およびランク3の条件下で、この手法はスパースかつ良好に定義されたNMF解を解析的に保証する。画像データセットを用いた実験的検証により、ハイパーパrameterチューニングなしで優れた性能を示す。

ABSTRACT

Nonnegative matrix factorization (NMF) has become a very popular technique in machine learning because it automatically extracts meaningful features through a sparse and part-based representation. However, NMF has the drawback of being highly ill-posed, that is, there typically exist many different but equivalent factorizations. In this paper, we introduce a completely new way to obtaining more well-posed NMF problems whose solutions are sparser. Our technique is based on the preprocessing of the nonnegative input data matrix, and relies on the theory of M-matrices and the geometric interpretation of NMF. This approach provably leads to optimal and sparse solutions under the separability assumption of Donoho and Stodden (NIPS, 2003), and, for rank-three matrices, makes the number of exact factorizations finite. We illustrate the effectiveness of our technique on several image datasets.

研究の動機と目的

• 標準NMFの不適切な定式化と一意でない解の問題を解決すること。
• 最適化ペナルティではなく、データ前処理によってNMFの解のスパarsityと良好な定式化を向上させること。
• 分離可能性および低ランク条件の下で、スパarsityと解の有限性に関する理論的保証を確立すること。
• M行列と逆正の行列を活用した入力データ変換のための前処理フレームワークを構築すること。
• 顔貌および高スペクトル画像データセットにおいて、最先端のスパースNMF手法と比較して競争力ある性能を示す、実証的有効性を示すこと。

提案手法

• 本手法は、入力非負値行列 $ M $ に対して、逆正の行列、特にM行列を用いた前処理変換を適用する。
• 行列 $ M $ を $ \mathcal{P}(M) = M Q $ として変換し、ここで $ Q $ は逆正で、$ Q^{-1} $ はM行列である。
• 前処理により $ \mathcal{P}(M) $ が非負値であり、列ノルムが低減されることが保証され、これにより以降のNMFでスパarsityが促進される。
• NMFの幾何的解釈（凸包とネストド・ポリトープ）に基づき、$ \theta(M) $ が $ \operatorname{conv}(\theta(U)) \subseteq \Delta^m $ の中に含まれることを考慮する。
• ランク3の行列に対しては、前処理により正確なNMF解の集合が有限となり、一般には一意であることが示唆される。
• 一般化された前処理バージョンでは、$ \mathcal{P}(M) $ が緩い意味で非負値であることを許容することで、ノイズおよびスパースなデータへのロバストネスが向上する。

実験結果

リサーチクエスチョン

• RQ1 最適化目的関数を変更せずに、データ前処理によってNMF解のスパarsityと一意性を向上させることは可能か？
• RQ2 逆正の行列による前処理が、解析的に最適かつスパースなNMF解をもたらす条件は何か？
• RQ3 前処理により、ランク3の行列に対して正確なNMF解が有限個に制限されるか？
• RQ4 ノイズやスパースなデータに対しても、スパarsityと一意性を維持しながら前処理戦略を一般化できるか？
• RQ5 $ \ell_1 $-ペナルティに依存する標準的なスパースNMF手法と比較して、前処理の性能とパラメータチューニングの必要性は何か？

主な発見

• DonohoとStoddenの分離可能性仮定のもとで、前処理は $ M $ の列の凸包の頂点を特定し、最適かつスパースな解をもたらす。
• 任意のランク2行列に対して、分離可能性条件が自然に満たされるため、前処理は最適である。
• 正確なランク3の場合、前処理により正確なNMF解の集合が有限となり、一般条件下では一意である強力な証拠がある。
• 本手法は標準的手法よりもスパースなNMF解を生成し、$ \ell_1 $-ペナルティ付きスパースNMFと同等の性能を示すが、パrameterチューニングを必要としない。
• 計算コストは $ \mathcal{O}(n^{4.5}) $ にまで上昇するが、これは $ n $ 個の CLLS 問題を解く必要があるためであり、ヒューリスティックな列サブセット選択により低減可能である。
• 反例により、現在のM行列フレームワークではすべての非一意NMF問題が解決されないことが示され、より広範な逆正行列クラスの導入により、さらなるスパarsity向上が可能である可能性がある。