[論文レビュー] Fast Conical Hull Algorithms for Near-separable Non-negative Matrix Factorization

Abhishek Kumar, Vikas Sindhwani+1 more|arXiv (Cornell University)|Oct 3, 2012

Matrix Theory and Algorithms参考文献 24被引用数 126

ひとこと要約

本稿では、データ行列の錐型包の極線を特定する問題に再定式化することで、近接分離型非負値行列分解（NMF）の高速かつスケーラブルなアルゴリズムXrayを提案する。この手法は、グリーディで反復的な選択プロセスを用い、分離性仮定のもとで正確にアンカー・ベクトルをr反復で同定する。高いスケーラビリティとノイズ耐性を達成しており、IBMTやRCV1といった大規模データセットにおいて8コアで4.5倍の高速化が実証された。

ABSTRACT

The separability assumption (Donoho & Stodden, 2003; Arora et al., 2012) turns non-negative matrix factorization (NMF) into a tractable problem. Recently, a new class of provably-correct NMF algorithms have emerged under this assumption. In this paper, we reformulate the separable NMF problem as that of finding the extreme rays of the conical hull of a finite set of vectors. From this geometric perspective, we derive new separable NMF algorithms that are highly scalable and empirically noise robust, and have several other favorable properties in relation to existing methods. A parallel implementation of our algorithm demonstrates high scalability on shared- and distributed-memory machines.

研究の動機と目的

• 収束保証が乏しい複数の線形計画問題を解くか、反復的最適化に依存する既存の分離型NMFアルゴリズムの計算非効率性を是正すること。
• ヒューリスティックな局所最適化を避けるとともに、分離性仮定のもとで正確な回復を保証する、スケーラブルでノイズ耐性のある近接分離型NMF用のアルゴリズムを開発すること。
• 共有メモリおよび分散メモリ並列アーキテクチャを活用して、大規模データセットにおける高性能計算を可能にすること。
• NMFを錐型包の極線の検出問題として幾何学的に解釈することで、アルゴリズムの明確さと耐性を向上させること。

提案手法

• データ行列Xの錐型包の極線を特定する問題に、分離型NMF問題を再定式化し、アンカー・ベクトルがこれらの極点に対応することを幾何的洞察に基づいて活用する。
• 分離性仮定のもとで正確な回復を保証するグリーディなアルゴリズムを提案し、反復的に現在の錐型包における最も極端なベクトルを選択する。
• 共有メモリシステムではPFunc、分散メモリシステムではMPIを用いて並列化を実装し、マルチコアおよびクラスタアーキテクチャでの効率的スケーリングを可能にする。
• BLAS-3ルーチンを中心に演算を再構成し、データレイアウトを最適化することで、メモリアクセスと計算パターンを最適化し、スレッド競合を低減する。
• 完全な線形計画法ソルバを避けるために、極線検出に必要な部分問題を効率的に解くために、アクティブセット法の修正版を用いる。
• ベクトル選択段階でしきい値処理機構を組み込むことでノイズ耐性を強化し、現実のノイズを含むデータでも性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分離型NMF問題を錐型包の極線検出問題に再定式化することで、より効率的に解くことができるか？
• RQ2 rステップで正確に極線を同定するグリーディで反復的なアルゴリズムは、大規模データセットにおいて正確な回復とスケーラビリティを達成できるか？
• RQ3 ノイズレベルやデータスパarsityの変動に応じて、Hottopixxなどの最先端手法と比較して、本手法の性能と耐性はどの程度優れているか？
• RQ4 共有メモリおよび分散メモリシステムにおける並列化は、錐型包ベースのNMFアルゴリズムの実行時間をどの程度改善できるか？
• RQ5 本手法は、固有のノイズと高次元性を有する現実世界のテキストおよび画像データセットに適用しても、高い正確性と効率性を維持できるか？

主な発見

• Xrayアルゴリズムは、分離性仮定のもとで正確にr反復でアンカー・ベクトルを回復し、局所最適解への収束を回避する。
• RCV1データセットでは、8コアで409秒で因子分解を完了し、逐次実装比で4.2倍の高速化を達成した。
• IBMTツイッター・データセットでは、4.5倍の高速化を達成し、8コアで9.8秒で因子分解を完了した。Hottopixxで5エポック実行した場合でさえも、Xrayが優れた性能を示した。
• 共有メモリ（daniel）および分散メモリシステムの両方で、本アルゴリズムは強いスケーラビリティを示した。性能向上は、最適化されたBLAS-3演算とメモリレイアウトに起因する。
• RCV1やIBMTのようなスパースデータセットにおいて、XrayはHottopixxよりも優れた性能を示し、より速く因子分解を完了し、より高い正確性を達成した。Hottopixxでより多くのエポックを回しても同様の結果であった。
• 実世界のデータセット（ClueWeb09やPPL2）において、本手法は実証的にノイズ耐性を示し、密度の高いおよびスパースな行列の両方から100トピックを的確に抽出できた。