[論文レビュー] Approximation Algorithms for Orthogonal Non-negative Matrix Factorization

Moses Charikar, Lunjia Hu|arXiv (Cornell University)|Mar 2, 2021

Face and Expression Recognition参考文献 52被引用数 5

ひとこと要約

本稿では、1つ以上の因子において完全な直交性を保証しつつ、競争力のある近似誤差を達成する、直交非負行列分解（ONMF）に対する初めての定数倍近似アルゴリズムを提示する。重み付き$k$-means近似サブルーチンを活用することで、理論的誤差バウンドを保証し、特にノイズが多い状況下でも、先行手法よりも精度と実行時間の両面で優れる。

ABSTRACT

In the non-negative matrix factorization (NMF) problem, the input is an $m imes n$ matrix $M$ with non-negative entries and the goal is to factorize it as $M\approx AW$. The $m imes k$ matrix $A$ and the $k imes n$ matrix $W$ are both constrained to have non-negative entries. This is in contrast to singular value decomposition, where the matrices $A$ and $W$ can have negative entries but must satisfy the orthogonality constraint: the columns of $A$ are orthogonal and the rows of $W$ are also orthogonal. The orthogonal non-negative matrix factorization (ONMF) problem imposes both the non-negativity and the orthogonality constraints, and previous work showed that it leads to better performances than NMF on many clustering tasks. We give the first constant-factor approximation algorithm for ONMF when one or both of $A$ and $W$ are subject to the orthogonality constraint. We also show an interesting connection to the correlation clustering problem on bipartite graphs. Our experiments on synthetic and real-world data show that our algorithm achieves similar or smaller errors compared to previous ONMF algorithms while ensuring perfect orthogonality (many previous algorithms do not satisfy the hard orthogonality constraint).

研究の動機と目的

• 任意の内部次元を許容するONMFにおける理論的最悪ケース近似保証の欠如に対処する。
• $A$および／または$W$における正確な直交性を強制しつつ、Frobeniusノルム誤差を最小化する、証明可能な効率性を持つアルゴリズムを開発する。
• ONMFの実験的成功と理論的理解のギャップを埋めるために、近似比を提供する。
• 合成データおよび実世界データにおいて、特にノイズ下でも実用的効率性とロバスト性を確保する。
• 直交性が正則化子として機能し、ノイズの多いデータではわずかに高い再構成誤差を示しても、元の構造の回復を改善することを示す。

提案手法

• 重み付き$k$-meansの$r$-近似アルゴリズムをサブルーチンとして使用し、特に$(9+\varepsilon)$-近似のローカルサーチアルゴリズムを採用する。
• 2段階のアルゴリズムを設計：まず、$M$の行または列を$k$-meansサブルーチンでクラスタリング；次に、非負性および直交性制約下で最小二乗射影により$A$と$W$を計算する。
• 非負性と内積がゼロであることから、$A$の列と$W$の行のサポートが互いに素であることを保証することで、直交性を実現する。
• 両因子の直交性を課す場合、近似比として$\left(2r + \frac{8r+8}{\sin^2(\pi/12)}\right)$を導出でき、$r$が固定であれば定数となる。
• 非零行における$\|WW^T - I\|_F$による非直交性の測定のため、正規化とゼロ行の削除を適用する。
• プラントされた解を内蔵した合成データとi.i.d.指数分布ノイズを用いて、制御された条件下での回復誤差と再構成誤差を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つ以上の因子に直交性を課した場合、ONMFに対して定数倍近似アルゴリズムを設計することは可能か？
• RQ2 完全な直交性を課すことにより、非直交NMF手法と比較して近似誤差と構造回復にどのような影響を与えるか？
• RQ3 Frobeniusノルム誤差と直交性制約下で、ONMFが達成可能な理論的近似比は何か？
• RQ4 ノイズや合成データ上で、既存のONMF手法と比較して、本アルゴリズムの実用的性能はいかがなものか？
• RQ5 直交性制約は正則化子として機能し、ノイズの多いデータでは再構成誤差が多少高くなるものの、元の構造の回復を改善するのか？

主な発見

• 提案アルゴリズムは、単一因子の直交性に対して$2r$の証明可能な近似比を達成し、両因子の直交性に対しては$\left(2r + \frac{8r+8}{\sin^2(\pi/12)}\right)$を達成する。ここで$r$は$k$-meansサブルーチンの近似比である。
• 合成データ（$m=100, n=5000, k=10$）において、完全な直交性が保証され、非直交手法と同等の回復誤差を達成する。プラントされた解よりもわずかに優れた回復性能と、わずかに悪い再構成誤差を示す。
• 効率的な$k$-means++-スタイルのクラスタリングに依存しているため、反復的アルゴリズム（EM-ONMF や ONMFS など）よりも著しく高速に実行される。
• 小さな行列（$m=10, n=50, k=2$）において、ONMFS でさえ完全な直交性を保証しているにもかかわらず、本アルゴリズムは回復誤差および再構成誤差の両面で ONMFS を上回る。
• $WW^T - I$ のFrobeniusノルムは、本アルゴリズムおよび ONMFS において常にゼロに等しく、すべての実行で完全な直交性が確認された。
• プラントされた解の再構成誤差は、ノイズレベルの$\sqrt{2mn}$倍の周囲に集中しており、本アルゴリズムは平均的にこのベンチマークを下回る再構成誤差を達成した。