[論文レビュー] Nonnegative Factorization and The Maximum Edge Biclique Problem

Nicolas Gillis, François Glineur|ArXiv.org|Oct 23, 2008

Graph Theory and Algorithms参考文献 39被引用数 51

ひとこと要約

本稿では、非負の行列に限らない任意の実行列を2つの非負行列の積として近似できるように一般化した非負因子分解（NF）を導入する。NFが最大辺バイクリーク問題への還元によってNP困難であることを証明し、NMFの乗法的更新をNFに一般化し、これらの更新に基づく新たなバイクリーク探索アルゴリズムを提案する。このアルゴリズムは1イテレーションあたりO(|E|)の時間計算量を達成し、既存の手法を上回る性能を示す。

ABSTRACT

Nonnegative Matrix Factorization (NMF) is a data analysis technique which allows compression and interpretation of nonnegative data. NMF became widely studied after the publication of the seminal paper by Lee and Seung (Learning the Parts of Objects by Nonnegative Matrix Factorization, Nature, 1999, vol. 401, pp. 788--791), which introduced an algorithm based on Multiplicative Updates (MU). More recently, another class of methods called Hierarchical Alternating Least Squares (HALS) was introduced that seems to be much more efficient in practice. In this paper, we consider the problem of approximating a not necessarily nonnegative matrix with the product of two nonnegative matrices, which we refer to as Nonnegative Factorization (NF); this is the subproblem that HALS methods implicitly try to solve at each iteration. We prove that NF is NP-hard for any fixed factorization rank, using a reduction to the maximum edge biclique problem. We also generalize the multiplicative updates to NF, which allows us to shed some light on the differences between the MU and HALS algorithms for NMF and give an explanation for the better performance of HALS. Finally, we link stationary points of NF with feasible solutions of the biclique problem to obtain a new type of biclique finding algorithm (based on MU) whose iterations have an algorithmic complexity proportional to the number of edges in the graph, and show that it performs better than comparable existing methods.

研究の動機と目的

• 非負因子分解（NF）を形式化・分析すること。これは、非負または非負に近い行列の近似を可能にするNMFの一般化である。
• 最大辺バイクリーク問題への還元により、任意の固定ランクに対してNFの計算量的複雑性を確立すること。
• NMFからNFへの乗法的更新ルールの一般化を行い、乗法的更新とHALSの性能差に関する新たな理論的洞察を提供すること。
• NFと乗法的更新に基づく新しいヒューリスティックアルゴリズムを提案し、1イテレーションあたりの計算量を抑えること。
• 提案手法の実験的有効性を示すこと。DIMACSおよびランダムグラフベンチマークにおいて、既存手法を上回ることを確認する。

提案手法

• 最大辺バイクリーク問題をランク1の非負因子分解（NF-1d）問題に還元することで、NFのNP困難性を確立する。
• 非負性制約の下で残差行列のフロベニウスノルムを最小化する更新ルールを導出することで、NMFの乗法的更新アルゴリズムをNFに一般化する。
• NF定式化に動的パラメータdを導入し、スパarsityを制御し、残差行列の負の要素をゼロ化する。これにより、丸め処理によるバイクラスタリングが可能になる。
• アルゴリズム1を提案する。これはNF定式化に乗法的更新を適用するバイクリーク探索のヒューリスティックであり、1イテレーションあたりO(|E|)の演算を要する。ここで|E|はグラフ内の辺の数を表す。
• NF問題の停留点を用いて、妥当なバイクリークへの解の対応を確立し、新たなバイクリーク探索フレームワークの構築を可能にする。
• 正則化と適応的パラメータ更新（例：d = min(αd, dₘ)）を用いることで、収束性と実用的適応性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非負行列因子分解（NMF）の一般化である非負因子分解（NF）は、任意の固定ランクに対して計算的に困難であるか？
• RQ2 NMFで用いられる乗法的更新アルゴリズムはNF設定に一般化可能か？ また、これにより標準的なNMFアルゴリズムの性能差についてどのような洞察が得られるか？
• RQ3 NF問題の停留点を用いて、最大辺バイクリーク問題の妥当解を生成できるか？
• RQ4 NF定式化への乗法的更新に基づくバイクリーク探索アルゴリズムは、既存手法と比較してより優れた性能と低い計算量を達成できるか？
• RQ5 パラメータdを調整することで、NFフレームワークをスパースで重み付きまたはバイナリのグラフにおける密度の高い部分行列（バイクラスタ）の検出に適応可能か？

主な発見

• NFは最大辺バイクリーク問題への還元により、任意の固定因子分解ランクに対してNP困難であることが証明された。
• NMFの乗法的更新ルールはNFに一般化され、これによりリーとセウンの元々のアルゴリズムの新たな解釈が得られ、実用的性能が相対的に低い理由が説明された。
• 提案された乗法的更新に基づくバイクリーク探索アルゴリズムは、1イテレーションあたりO(|E|)の時間計算量を達成し、大規模なスパースグラフにおいて非常に効率的である。
• DIMACSベンチマークグラフでは、提案手法はグリーディ法や他の乗法的更新ベース手法よりもはるかに多くの辺を持つバイクリークを発見し、特に高密度領域で顕著な優位性を示した。
• ランダムグラフでは、提案手法は一貫して既存手法を上回り、0.9密度のグラフでは最良ケースで431.3の辺を達成したのに対し、次善の手法は241.9にとどまった。
• パラメータdₘを調整することで、バイクラスタリングに適応可能であり、古典的なテキストマイニングデータセットでは密度29%〜52%の部分行列が得られ、dₘが増加するにつれて密度が上昇した。