[論文レビュー] Recent Developments in Boolean Matrix Factorization

Pauli Miettinen, Stefan Neumann|arXiv (Cornell University)|Dec 5, 2020

Rough Sets and Fuzzy Logic参考文献 51被引用数 6

ひとこと要約

本調査は、ブール代数における低ランクのバイナリ要因行列を用いてバイナリ行列を近似する手法であるブール行列因子分解（BMF）の最近の進展をレビューする。データマイニング、形式的概念分析、機械学習、理論的コンピュータ科学の分野からの発展を統合し、スケーラブルなアルゴリズム、理論的困難性の結果、近似とクラスタリングに関する未解決問題を強調する。

ABSTRACT

The goal of Boolean Matrix Factorization (BMF) is to approximate a given binary matrix as the product of two low-rank binary factor matrices, where the product of the factor matrices is computed under the Boolean algebra. While the problem is computationally hard, it is also attractive because the binary nature of the factor matrices makes them highly interpretable. In the last decade, BMF has received a considerable amount of attention in the data mining and formal concept analysis communities and, more recently, the machine learning and the theory communities also started studying BMF. In this survey, we give a concise summary of the efforts of all of these communities and raise some open questions which in our opinion require further investigation.

研究の動機と目的

• データマイニング、形式的概念分析、機械学習、理論的コンピュータ科学を含む多様な研究分野におけるブール行列因子分解（BMF）の最近の進展を統合する。
• 標準の複雑性仮定の下で、BMFにおける計算の困難性の挑戦に応えるために、近似アルゴリズム、正確なソルバ、ヒューリスティック手法をレビューする。
• 特に近似の保証、スケーラビリティ、重複するバイクリーク回復のための確率的ブロックモデルの使用に関して、BMFにおける未解決問題を特定し、強調する。
• 統一的な概要を通じて、将来の研究を導く。これにより、重複作業を避け、革新的な方向性を促進する。

提案手法

• 本論文は、行列乗算を論理的OR（和集合）とAND（積集合）で定義するブール半環を用いてBMFを調査し、出力がバイナリであることを保証する。
• BMFを、元のバイナリ行列と2つの低ランクバイナリ要因行列のブール積とのXOR差のフロベニウスノルムを最小化する問題として定式化する。
• 本調査は、貪欲法と局所探索ヒューリスティクス、整数プログラミングに基づく正確なソルバ、大規模データ向けのストリーミングアルゴリズムの複数のアルゴリズム族をカバーする。
• NP困難性と近似不能性の境界といった理論的困難性の結果を検討し、標準の複雑性仮定の下で多項式時間近似スキームが存在しないことを示す。
• 本論文は、多視覚データのための共同BMF、視覚的クラスタリングのための置換不変BMF、多方向データのためのブールテンソル分解といった拡張も検討する。
• ランダムグラフにおける隠れたバイクリークの回復保証を分析するための確率的モデル（例：二部グラフの確率的ブロックモデル）を検討し、理論と実践的性能を結びつける。

実験結果

リサーチクエスチョン

• RQ1 ブール行列因子分解を解くための主要なアルゴリズム的手法は何であり、スケーラビリティと解の品質の観点からどのように比較できるか？
• RQ2 BMFにおける近似の理論的限界は何か？ なぜ標準的な最悪ケース解析手法では、既存のアルゴリズムの実験的成功を説明できないのか？
• RQ3 隠れたバイクリークを含むランダムな二部グラフの確率的モデルを、重複するバイクリークカバーに拡張できるか？ その場合、BMFにおける保証可能な近似を提供できるか？
• RQ4 BMFは多視覚データにどのように適合できるか？ また、複数のバイナリ行列間での共同因子分解の利点は何か？
• RQ5 理論と実践的性能のギャップを埋めるという観点で、BMFにおける将来の研究で最も有望な方向性は何か？

主な発見

• ブール行列因子分解（BMF）は、標準の複雑性仮定の下でNP困難であり、任意の定数要因内での近似が不可能であるため、最悪ケース近似保証の力には限界がある。
• 理論的困難性にもかかわらず、実世界のデータに対して、貪欲ヒューリスティクスやストリーミング手法（例：NeumannとMiettinen, 2020）といった実用的アルゴリズムが、妥当な実行時間で高品質な解を達成している。
• 二部グラフの確率的ブロックモデルの使用により、非常に小さなクラスタに対しても、きわめて弱い条件下でも隠れたバイクリークの保証可能な回復が可能になる。
• 共同BMFや置換不変BMFといった拡張は、多視覚およびグラフ可視化応用における解釈可能性と構造の発見性を向上させる。
• 最近の理論的研究では、互いに素なバイクリークカバーが時間 $2^{O(k^2)}(mn)^{O(1)}$ で近似可能であることが示されており、$k$ に指数的依存性を示す既存の結果よりも顕著な改善がなされている。
• 現在の確率的ブロックモデルの結果を、非交差なカバーから重複するカバーへの一般化する可能性が強くあり、重複成分を含むBMFにおける最初の保証可能な近似保証を得る可能性がある。