[論文レビュー] Robust Near-Separable Nonnegative Matrix Factorization Using Linear Optimization

Nicolas Gillis, Robert Luce|arXiv (Cornell University)|Feb 18, 2013

Face and Expression Recognition参考文献 18被引用数 80

ひとこと要約

本稿では、行列正規化の必要性を排除し、因子分解ランクを自動で検出できる、近接分離型非負値行列分解（NMF）のロバストな線形計画法モデルを提案する。新たなスパarsity促進目的関数を用いて最適化問題を再定式化することで、ノイズ耐性と外れ値耐性がHottopixxを上回り、合成データセットにおいて優れた性能を発揮するとともに、分離可能性仮定下でも最先端手法と競合する性能を示す。

ABSTRACT

Nonnegative matrix factorization (NMF) has been shown recently to be tractable under the separability assumption, under which all the columns of the input data matrix belong to the convex cone generated by only a few of these columns. Bittorf, Recht, Ré and Tropp (`Factoring nonnegative matrices with linear programs', NIPS 2012) proposed a linear programming (LP) model, referred to as Hottopixx, which is robust under any small perturbation of the input matrix. However, Hottopixx has two important drawbacks: (i) the input matrix has to be normalized, and (ii) the factorization rank has to be known in advance. In this paper, we generalize Hottopixx in order to resolve these two drawbacks, that is, we propose a new LP model which does not require normalization and detects the factorization rank automatically. Moreover, the new LP model is more flexible, significantly more tolerant to noise, and can easily be adapted to handle outliers and other noise models. Finally, we show on several synthetic datasets that it outperforms Hottopixx while competing favorably with two state-of-the-art methods.

研究の動機と目的

• Hottopixxの2つの主要な制限、すなわち行列正規化の必要性と事前に因子分解ランクを知る必要性を解消すること。
• ノイズ条件下でもよりロバストで柔軟な近接分離型NMFの線形計画法モデルを構築すること。
• 事前に知識がなくても因子分解ランクを自動で検出できる仕組みを実現すること。
• 最適化フレームワークをさまざまなノイズモデルに適応させることで、ノイズおよび外れ値に対する耐性を高めること。
• 合成データセットにおいて、Hottopixxおよび2つの最先端手法と比較して優れた性能を示すこと。

提案手法

• Hottopixxの正規化ステップを代替するスパarsity促進目的関数を導入した新しい線形計画法モデルを提案する。
• 因子分解ランクを目的関数に埋め込んだランク検出メカニズムを用いて、自動的にランクを同定する修正された最適化問題を導入する。
• 真の基底行列Wの安定回復を保証するため、錐型性および最小分離度（κ, η, δ）に基づくロバストネス条件を導入する。
• スパarsityを促進し、ノイズ耐性を向上させるために、目的関数にℓ₁正則化付き再構成誤差を採用する。
• 外れ値を区別して処理するため、純粋成分（W）、外れ値（T）、ノイズ付き列（WH′）の寄与にそれぞれ別々の境界を設けることで、外れ値への耐性を向上させる。
• 定理4を用いて理論的保証を提供し、有界なノイズおよび錐型性のもとで、最適解Xが真の成分に対して高い対角成分値を保ち、他の成分に対しては低い値をとることを示す。

実験結果

リサーチクエスチョン

• RQ1 入力行列の正規化を要しない近接分離型NMFの線形計画法モデルを設計可能か？
• RQ2 因子分解ランクを事前に指定せず、最適化フレームワーク内で自動的に検出可能か？
• RQ3 本手法のノイズ耐性および外れ値処理性能はHottopixxと比較してどうか？
• RQ4 異なるノイズレベルおよびノイズモデル下でも、本モデルは高い正確性を維持できるか？
• RQ5 本手法は、合成された近接分離型NMFデータセットにおいて、既存の最先端手法を上回る性能を示せるか？

主な発見

• 提案手法は、事前に知識がなくても因子分解ランクを自動で検出でき、Hottopixxの主要な制限要因を解消した。
• κ, η, δ, ϵを含む理論的境界を通じて、Hottopixxよりも顕著に高いノイズ耐性を示した。
• 非基底成分についての理論的境界X(j,j) ≤ 8ϵ / (κ(1−β)(1−ϵ)) により、外れ値に最小限の重みが割り当てられることを示した。
• 合成データセットにおいて、再構成誤差および基底行列回復の正確性の両面で、Hottopixxを上回った。
• 有界なノイズ下かつ行列正規化が行われない状況でも、ロバスト錐型性条件のもとで、本手法はロバスト性を維持した。
• 理論的分析により、最適解Xが真の基底成分に対して高い対角成分値を割り当て、外れ値およびノイズ付き成分に対しては低い値を割り当てることを確認した。これにより、正しい同定が保証された。