[論文レビュー] Computing a Nonnegative Matrix Factorization -- Provably

Sanjeev Arora, Rong Ge+2 more|arXiv (Cornell University)|Nov 3, 2011

graph theory and CDMA systems被引用数 8

ひとこと要約

本稿は、実用的応用における重要な仮定である分離性条件の下で、非負行列分解（NMF）に対する初めての多項式時間アルゴリズムを提示する。任意の固定された内次元 r に対して、正確なおよび近似 NMF が多項式時間で解けることを証明し、3-SAT に準指数時間アルゴリズムが存在することを示すという、タイトな下界を確立する。

ABSTRACT

In the Nonnegative Matrix Factorization (NMF) problem we are given an $n imes m$ nonnegative matrix $M$ and an integer $r > 0$. Our goal is to express $M$ as $A W$ where $A$ and $W$ are nonnegative matrices of size $n imes r$ and $r imes m$ respectively. In some applications, it makes sense to ask instead for the product $AW$ to approximate $M$ -- i.e. (approximately) minimize $ orm{M - AW}_F$ where $ orm{}_F$ denotes the Frobenius norm; we refer to this as Approximate NMF. This problem has a rich history spanning quantum mechanics, probability theory, data analysis, polyhedral combinatorics, communication complexity, demography, chemometrics, etc. In the past decade NMF has become enormously popular in machine learning, where $A$ and $W$ are computed using a variety of local search heuristics. Vavasis proved that this problem is NP-complete. We initiate a study of when this problem is solvable in polynomial time: 1. We give a polynomial-time algorithm for exact and approximate NMF for every constant $r$. Indeed NMF is most interesting in applications precisely when $r$ is small. 2. We complement this with a hardness result, that if exact NMF can be solved in time $(nm)^{o(r)}$, 3-SAT has a sub-exponential time algorithm. This rules out substantial improvements to the above algorithm. 3. We give an algorithm that runs in time polynomial in $n$, $m$ and $r$ under the separablity condition identified by Donoho and Stodden in 2003. The algorithm may be practical since it is simple and noise tolerant (under benign assumptions). Separability is believed to hold in many practical settings. To the best of our knowledge, this last result is the first example of a polynomial-time algorithm that provably works under a non-trivial condition on the input and we believe that this will be an interesting and important direction for future work.

研究の動機と目的

• 内次元 r が小さいとき、NMF が効率的に計算可能かどうかという長年の未解決問題に取り組むこと。
• 特に、多くの現実世界のデータシナリオで成り立つ分離性条件に注目し、NMF が解ける条件を同定すること。
• 3-SAT の複雑さに基づく下界を証明することで、NMF アルゴリズムの効率の理論的限界を確立すること。
• 良性の仮定の下で動作し、分離性条件の下で理論的に正しく保証される、実用的でノイズ耐性のある近似 NMF のためのアルゴリズムを提供すること。

提案手法

• 内次元 r が定数である場合に、凸最適化と ε-ネット上のベクトル列挙を用いて、正確および近似 NMF の多項式時間アルゴリズムを提案する。
• 線形制約の下で二次的目的関数を最小化する凸計画問題を用い、真の分解を近似しつつ非負性を保証することを目的とする。
• 2段階のアプローチを採用：まず凸緩和により基底行列 W を推定し、次に最小二乗問題を解いて A を回復させ、Frobenius 範数誤差を最小化する。
• 分離性条件を活用してノイズ耐性の高い変種を導入し、因子行列の一方が元の行列の正確な列を含むことを前提とする。
• r 次元空間内の単位ベクトルに対するネットベースの探索を適用し、真の分解方向を近似する。誤差バウンドは精度パラメータによって制御される。
• 近似されたベクトルが使用された際の目的関数の摂動をバウンドすることで理論的保証を導出し、解が小さな誤差範囲内に保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 内次元 r が小さいとき、非負行列分解（NMF）は多項式時間で解けるか？
• RQ2 入力行列 M にどのような構造的条件が成り立つと NMF が解けるようになり、その条件をアルゴリズム的に活用できるか？
• RQ3 NMF アルゴリズムの実行時間と 3-SAT のような NP 困難問題の複雑さの間には、証明可能なトレードオフがあるか？
• RQ4 現実的な仮定の下で、実用的かつノイズに強い近似 NMF の多項式時間アルゴリズムを設計できるか？
• RQ5 NMF アルゴリズムの効率の理論的限界は何か？また、これは複雑性理論的還元によって特徴付けられるか？

主な発見

• 本稿は、内次元 r が定数である場合に、正確および近似 NMF の両方に対して多項式時間アルゴリズムを提示し、計算学習理論における長年の未解決問題を解決する。
• 正確な NMF が時間 (nm)^o(r) で解けるならば、3-SAT に準指数時間アルゴリズムが存在することを示し、標準的な複雑性仮定の下で実行時間のタイトな下界を確立する。
• 分離性条件下では、ノイズ耐性があり実用的である多項式時間アルゴリズムを設計し、非自明な入力条件の下で NMF に対して初めて理論的に正しく保証されたアルゴリズムを実現する。
• δ = √ε / r^{1/4} のとき、近似誤差が O(ε^{1/2} r^{1/4}) ||M||_F に抑えられることを示し、要因分解誤差に対する明確な定量的バウンドを提供する。
• アルゴリズムで用いられる凸緩和アプローチは、基底ベクトルの小さな摂動に対しても安定であることが示され、入力のノイズに対するロバストネスを保証する。
• 本研究は、分離性条件が十分条件であるだけでなく、今後のアルゴリズム的開発の有望な道筋であると示し、実用的かつ理論的に保証された解法を可能にする。