[論文レビュー] Fast and Effective Algorithms for Symmetric Nonnegative Matrix Factorization

Reza Borhani, Jeremy Watt+1 more|arXiv (Cornell University)|Sep 17, 2016

Sparse and Compressive Sensing Techniques参考文献 35被引用数 5

ひとこと要約

本稿では、対称非負行列分解（SNMF）のための高速かつ効果的な2つのアルゴリズムを提案する。1つは収束が保証される加速近接勾配（APG）に基づくもので、もう1つはヒューリスティックな交替方向乗数法（ADMM）フレームワークを用いたものである。ADMMに基づくアルゴリズムは、最新の手法と比較して1〜2桁の高速化を達成しながら、最良の既存手法と同等のクラスタリング性能を維持している。

ABSTRACT

Symmetric Nonnegative Matrix Factorization (SNMF) models arise naturally as simple reformulations of many standard clustering algorithms including the popular spectral clustering method. Recent work has demonstrated that an elementary instance of SNMF provides superior clustering quality compared to many classic clustering algorithms on a variety of synthetic and real world data sets. In this work, we present novel reformulations of this instance of SNMF based on the notion of variable splitting and produce two fast and effective algorithms for its optimization using i) the provably convergent Accelerated Proximal Gradient (APG) procedure and ii) a heuristic version of the Alternating Direction Method of Multipliers (ADMM) framework. Our two algorithms present an interesting tradeoff between computational speed and mathematical convergence guarantee: while the former method is provably convergent it is considerably slower than the latter approach, for which we also provide significant but less stringent mathematical proof regarding its convergence. Through extensive experiments we show not only that the efficacy of these approaches is equal to that of the state of the art SNMF algorithm, but also that the latter of our algorithms is extremely fast being one to two orders of magnitude faster in terms of total computation time than the state of the art approach, outperforming even spectral clustering in terms of computation time on large data sets.

研究の動機と目的

• グラフベースおよびスペクトルクラスタリングの根幹をなす、対称非負行列分解（SNMF）のための効率的な最適化アルゴリズムの開発。
• 変数分割と現代の最適化フレームワークを活用することで、既存のSNMFソルバの計算ボトルネックを解消すること。
• 収束保証と計算速度の両立を図るため、理論的保証のあるAPGに基づく手法と、より高速なヒューリスティックなADMMに基づく手法を導入すること。
• 提案されたADMMベースのアルゴリズムが、最新のSNMF手法だけでなく、大規模データセットにおける実行時間の観点からスペクトルクラスタリングをも凌駆することを示すこと。

提案手法

• 対称因子分解制約を分離するために変数分割を用いてSNMF問題を再定式化し、高度な最適化技術の適用を可能にする。
• 再定式化された問題に加速近接勾配（APG）法を適用し、理論的保証のもとでグローバル収束を保証する。
• 同じ再定式化に基づき、厳密な収束証明を犠牲にすることで著しく高速な実行時間を達成するヒューリスティックなADMMフレームワークを開発する。
• 2次罰則法と双対勾配上昇更新を用いて増幅ラグランジュ関数を解き、変数X、Y、L、Λ、Γの反復的更新を行う。
• ADMM更新におけるLのステップで、非負性と妥当性を強制するためのソフトしきい値処理（プロジェクション）ステップを実装する。
• 収束条件を導出し、やや弱い仮定のもとで、ADMM系列の任意の極限点が元のSNMF問題のKKT条件を満たすことを証明する。

実験結果

リサーチクエスチョン

• RQ1 変数分割と現代の最適化フレームワークを活用することで、SNMFの高速化を図りつつクラスタリング精度を維持できるか？
• RQ2 ADMMベースのSNMFソルバの性能は、速度とクラスタリング品質の両面で最新の手法と比べてどうか？
• RQ3 SNMF最適化において、収束保証と計算効率の間にはどのようなトレードオフがあるか？
• RQ4 ヒューリスティックなADMM変種は、大規模データセットにおいてスペクトルクラスタリングを実行時間の観点から上回ることができるか？
• RQ5 提案されたADMMアルゴリズムが、元のSNMF問題のKKT点に収束する条件は何か？

主な発見

• ADMMベースのアルゴリズムは、数千個のデータポイントを含む中規模のデータセットにおいて、最新のSNMF手法と比較して1〜2桁の高速化を達成している。
• 大規模データセットにおいて、ADMMベースのアルゴリズムはスペクトルクラスタリングを実行時間の観点から上回り、優れたスケーラビリティを示している。
• 提案された2つのアルゴリズムとも、最も優れた既存のSNMF手法と同等のクラスタリング効果を達成しており、その有効性が確認された。
• APGベースの手法は理論的保証のもとで収束が保証されるが、ADMMバージョンに比べて著しく遅い。
• ADMMベースの手法は、連続する反復間の差が0に近づくという仮定のもとで、元のSNMF問題のKKT点に収束することが示された。
• ADMM変種の収束証明はAPGほど厳密ではないが、依然として極限点が元の問題のKKT条件を満たすことを確立している。