[論文レビュー] On the complexity of nonnegative matrix factorization

Stephen A. Vavasis|ArXiv.org|Aug 30, 2007

Image Retrieval and Classification Techniques参考文献 6被引用数 8

ひとこと要約

この論文は、正確な非負値行列分解（NMF）が、INTERMEDIATE SIMPLEXと呼ばれる多面体組合せ問題との同値性を示すことにより、NP困難であることを確立している。また、線形計画法を用いた多項式時間の局所探索ヒューリスティクスが存在することを示している。本研究は正確なNMFの計算複雑性を解明し、非負値ランクの決定といった関連問題に対してもNP困難性を示唆している。

ABSTRACT

Nonnegative matrix factorization (NMF) has become a prominent technique for the analysis of image databases, text databases and other information retrieval and clustering applications. In this report, we define an exact version of NMF. Then we establish several results about exact NMF: (1) that it is equivalent to a problem in polyhedral combinatorics; (2) that it is NP-hard; and (3) that a polynomial-time local search heuristic exists.

研究の動機と目的

• 正確な非負値行列分解（NMF）の計算複雑性を形式的に確立すること。
• 正確なNMFが、多面体組合せの分野で知られるINTERMEDIATE SIMPLEXと呼ばれる問題と同値であることを示すこと。
• INTERMEDIATE SIMPLEXがNP困難であることを証明し、それによって正確なNMFのNP困難性を確立すること。
• 正確なNMFに対する局所探索ヒューリスティクスが線形計画法を用いて解けることを示すこと。
• NP困難性の結果を非負値ランクの決定問題に拡張すること。

提案手法

• 与えられたランク-k分解 A = W₀H₀ に対して、W₀Q⁻¹ および QH₀ が非負となるような正則行列 Q の存在を含む意思決定問題に正確なNMFを還元する。
• 多項式時間還元を用いて、正確なNMFとINTERMEDIATE SIMPLEX問題との間の同値性を証明する。
• 解空間を n 個の面を持つ多面体 P と m 個のベクトルの集合 S として幾何学的にモデル化する。
• P への包含関係および S の凸包に基づく制約から導かれる制約のもとで、単体 T の頂点位置を最適化するための線形計画法を適用する。
• 単一の未知の頂点の妥当な位置を定義するための線形方程式および不等式の系を導出する。これにより局所探索が可能になる。
• 単体内の凸結合に起因する非線形制約を線形化するために、変数変換（αi, α*）を用いる。

実験結果

リサーチクエスチョン

• RQ1 正確な非負値行列分解（NMF）は計算的に困難であり、その複雑性クラスは何か？
• RQ2 正確なNMFは多面体組合せの問題に還元可能であり、その同値性の性質は何か？
• RQ3 正確なNMFと同値であるINTERMEDIATE SIMPLEX問題はNP困難か？
• RQ4 正確なNMFに対する局所探索ヒューリスティクスは、線形計画法を用いて効率的に定式化・解けるか？
• RQ5 正確なNMFのNP困難性は非負値ランクの決定問題に拡張可能か？

主な発見

• 正確なNMFは、NP困難であるとされるINTERMEDIATE SIMPLEX問題への還元により、NP困難であることが証明された。
• 正確なNMFは、両方向の多項式時間還元が可能であるため、多面体組合せのINTERMEDIATE SIMPLEX問題と同値である。
• 正確なNMFに対する局所探索ヒューリスティクスは、線形計画法を用いて実装可能であり、妥当な頂点位置は多面体を形成する。
• 単一の未知の頂点のための妥当領域は、mk 個の等式および n + mk 個の不等式からなる系によって定義される。
• 非負値ランクの決定問題についてもNP困難である。これは正確なNMFを一般化するためである。
• 証明により、NMFの近似版は常に正確なNMFの難易度以上であることが示され、標準的なNMF定式化に対してもNP困難性が成立することが示唆される。