[論文レビュー] Factoring nonnegative matrices with linear programs

Victor Bittorf, Benjamin Recht+2 more|arXiv (Cornell University)|Jun 6, 2012

Advanced Optimization Algorithms Research参考文献 22被引用数 113

ひとこと要約

この論文では、非負値行列分解（NMF）のスケーラブルな線形計画法に基づくアルゴリズム、Hottopixxを紹介する。Hottopixxは、元の行列を再構築するために、顕著なデータ行を選択する。Aroraら（2012）と同様の条件下で証明可能な回復を達成するが、より良い誤差バウンド、より速い収束、ノイズへのロバスト性を備え、最適化されたC++および並列計算を用いて、数分で大規模な行列の因子分解を実現する。

ABSTRACT

This paper describes a new approach, based on linear programming, for computing nonnegative matrix factorizations (NMFs). The key idea is a data-driven model for the factorization where the most salient features in the data are used to express the remaining features. More precisely, given a data matrix X, the algorithm identifies a matrix C such that X approximately equals CX and some linear constraints. The constraints are chosen to ensure that the matrix C selects features; these features can then be used to find a low-rank NMF of X. A theoretical analysis demonstrates that this approach has guarantees similar to those of the recent NMF algorithm of Arora et al. (2012). In contrast with this earlier work, the proposed method extends to more general noise models and leads to efficient, scalable algorithms. Experiments with synthetic and real datasets provide evidence that the new approach is also superior in practice. An optimized C++ implementation can factor a multigigabyte matrix in a matter of minutes.

研究の動機と目的

• 既存のNMFヒューリスティクスには理論的保証がなく、スケーラビリティに欠けることが多く、計算コストが高く、ノイズに敏感であるという問題に対処する。
• データ駆動型のNMF手法を開発し、データ行列から代表的な行（特徴）の最小集合を特定し、残りの行列を再構築する。
• Aroraら（2012）と同一のモデル仮定の下で回復の理論的保証を提供し、高SNR領域において誤差バウンドを改善する。
• 線形計画法と確率的勾配降下法を用いて、大規模データセット（最大10^5の特徴、10^6の例）に適したスケーラブルで効率的なアルゴリズムを設計する。
• 一般のノイズモデルへの拡張を図り、従来のアルゴリズムが要求するノイズパラメータ（例：εとα）の事前知識を不要にする。

提案手法

• NMFを線形計画問題として定式化し、X ≈ CXを満たす非負行列Cを求める。ここでCはデータ行列Xの行を選択し、基底特徴として機能する。
• Cに線形制約を課して、代表的な少数の行（特徴）のみを選択するようにし、スパarsityと解釈可能性を確保する。
• 効率的な線形計画問題の解法として確率的勾配降下法（SGD）を用い、Matlab上でのAGKMと比較して少なくとも2桁の高速化を達成する。
• マルチコア最適化されたC++実装により、最大10^5の特徴、10^6の例を持つ行列に対してもスケーラブルに処理可能である。
• 同じ条件で一意で明確な解が得られるように、解のロバスト性を向上させるためのマージン制約を導入する。
• 同じデータ駆動型で特徴を局所化する原則を応用し、ランクを露わにするQR分解、補間的分解、辞書学習などの他の因子分解問題にも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 AGKMアルゴリズムと同様のモデル仮定の下で、NMFの線形計画法定式化が証明可能な回復保証を達成できるか？
• RQ2 提案手法は、特に高信号対雑音比（SNR）領域において、AGKMと比較して誤差バウンドを改善するか？
• RQ3 ノイズパラメータの事前知識が不要な状態で、大規模データセットにスケーラブルかつ効率的なアルゴリズムを実現できるか？
• RQ4 この手法は、さまざまなノイズモデルや実世界のデータ分布へどの程度一般化可能か？
• RQ5 合成データおよび実データセットにおける再構築誤差と実行時間の観点から、AGKMおよび他のベースライン手法と比較して、提案手法の性能はどの程度か？

主な発見

• 合成データにおいて、Hottopixxは測定した手法の中で最も低い$(\infty,1)$-ノルム再構築誤差を達成し、ノイズパラメータの事前知識がなくてもAGKMを上回る性能を示した。
• ハードウェアプリファッチとキャッシュ効果のおかげで、マルチコアシステム上で最大20倍の超線形スルーブプットを達成し、数分で数ギガバイトの行列の因子分解が可能になった。
• 最適化されたC++実装では、2.7GBの合成行列（1600×64000）を338秒、1.14GBのRCV1データセット（47153×781265）を430秒で12コアで要約した。
• わずか4エポックで、Hottopixxは競争力のある再構築誤差を達成し、ノイズが強い領域（η ≥ 1）ではAGKMが劣化するのに対し、優れた性能を示した。
• RCV1データセットでは、Hottopixxが選択した1500件のトピックを用いたSVM分類器で7%の誤分類誤差を達成したが、全特徴を用いた場合の5.5%と比較して、顕著な次元削減能力を示した。
• ClueWebデータセットでは、Hottopixxが「ホットトピック」を効果的に特定し、最初の数百分の1のトピックでRMSEが急激に低下した。これは自然言語処理応用における実用性を示している。