[論文レビュー] Dropping Symmetry for Fast Symmetric Nonnegative Matrix Factorization

Zhihui Zhu, Xiao Li+2 more|arXiv (Cornell University)|Nov 14, 2018

Face and Expression Recognition被引用数 11

ひとこと要約

本稿では、非対称NMF問題に正則化項を導入することで、対称的非負行列分解（NMF）を再定式化し、その結果として高速な収束を達成するフレームワークを提案する。正則化項により2つの因子が等しくなるように制御され、非対称NMFに特化した交替最小化アルゴリズムを活用することで、グローバル収束が保証され、収束速度はサブ線形である。本手法は、対称NMFにおける代替アルゴリズムに対して、初めての厳密な収束保証を提供する。

ABSTRACT

Symmetric nonnegative matrix factorization (NMF), a special but important class of the general NMF, is demonstrated to be useful for data analysis and in particular for various clustering tasks. Unfortunately, designing fast algorithms for Symmetric NMF is not as easy as for the nonsymmetric counterpart, the latter admitting the splitting property that allows efficient alternating-type algorithms. To overcome this issue, we transfer the symmetric NMF to a nonsymmetric one, then we can adopt the idea from the state-of-the-art algorithms for nonsymmetric NMF to design fast algorithms solving symmetric NMF. We rigorously establish that solving nonsymmetric reformulation returns a solution for symmetric NMF and then apply fast alternating based algorithms for the corresponding reformulated problem. Furthermore, we show these fast algorithms admit strong convergence guarantee in the sense that the generated sequence is convergent at least at a sublinear rate and it converges globally to a critical point of the symmetric NMF. We conduct experiments on both synthetic data and image clustering to support our result.

研究の動機と目的

• 非対称NMFに存在する分割性（splitting property）が欠如しているため、対称NMFに効率的で高速なアルゴリズムが不足している問題に対処する。
• 対称NMFにおける投影勾配降下法（PGD）の収束が遅い問題を克服し、高速な交替型アルゴリズムの適用を可能にする。
• 再定式化された非対称問題に適用された交替アルゴリズムの理論的収束保証を確立する。
• 適切な正則化のもとで、再定式化問題の解が有効な対称NMF解に回復されることを保証する。

提案手法

• 因子同士の等価性 $\boldsymbol{U} = \boldsymbol{V}$ を強制する正則化項 $\frac{\lambda}{2}\|\boldsymbol{U}-\boldsymbol{V}\|_F^2$ を導入することで、対称NMFを非対称NMF問題に再定式化する。
• 非対称NMFに特化した交替最小化アルゴリズム（例：HALS、ANLS）を再定式化問題に適用し、その効率性と収束性を活用する。
• エネルギーが有界な任意の臨界点が、$\lambda$ が十分に大きい場合に $\boldsymbol{U} = \boldsymbol{V}$ を満たすことを証明する。
• 目的関数のKurdyka–Łojasiewicz（KL）性質を分析することで、反復列のグローバル収束とサブ線形収束速度を確立する。
• 正則化項や追加制約を非負性以外に設けず、収束性を維持することを示す。
• 合成データおよび画像クラスタリングタスクに本フレームワークを適用し、実験的性能と収束速度を検証する。

実験結果

リサーチクエスチョン

• RQ1 対称NMFは、非対称NMFに通常用いられる高速な交替型アルゴリズムで効率的に解けるか？
• RQ2 再定式化された非対称問題の解が有効な対称NMF解に回復されるための条件は何か？
• RQ3 正則化付き非対称再定式化に適用された交替アルゴリズムに対して、どのような収束保証が得られるか？
• RQ4 本手法の収束速度は、目的関数のKL指数にどのように依存するか？
• RQ5 本フレームワークは、標準的なPGDに比べて、対称NMFにおける収束速度を上回るか？

主な発見

• 提案された再定式化により、正則化付き非対称問題の任意の臨界点が $\lambda$ が十分に大きい場合に $\boldsymbol{U} = \boldsymbol{V}$ を満たし、有効な対称NMF解が得られることを保証する。
• 再定式化問題に適用された交替最小化アルゴリズムは、対称NMF問題の臨界点へグローバルに収束する。
• アルゴリズムは少なくともグローバルなサブ線形収束速度を達成し、KL指数 $\theta \in [0, \frac{1}{2}]$ の場合に線形収束が可能である。
• 収束速度は、線形収束の場合 $\|\boldsymbol{W}_k - \boldsymbol{W}^\star\|_F \leq \mathcal{O}(\rho^{k-\overline{k}})$ 、サブ線形収束の場合 $\mathcal{O}((k - \overline{k})^{-\frac{1-\theta}{2\theta-1}})$ として定量的に特定される。
• 合成データおよび画像クラスタリングにおける実験結果から、標準的なPGDに比べて収束が速いことが示され、本手法の有効性が検証された。
• 理論的枠組みにより、正則化項や追加制約を除き、対称NMFにおける交替型アルゴリズムに対して、初めての厳密な収束保証が得られた。