[論文レビュー] Boolean Matrix Factorization and Noisy Completion via Message Passing

Siamak Ravanbakhsh, Barnabás Póczos+1 more|arXiv (Cornell University)|Sep 28, 2015

Blind Source Separation Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、ブール行列因子分解およびノイズあり行列補完問題をグラフィカルモデルにおける最大後確信度推論として扱い、メッセージパッシングアルゴリズムを提案する。この手法は観測数に対して線形スケーラビリティを達成し、特にスパースなデータ条件下でも、信念伝播を用いて低ランクブール構造を効果的に回復することで、最先端の手法を上回る性能を発揮する。

ABSTRACT

Boolean matrix factorization and Boolean matrix completion from noisy observations are desirable unsupervised data-analysis methods due to their interpretability, but hard to perform due to their NP-hardness. We treat these problems as maximum a posteriori inference problems in a graphical model and present a message passing approach that scales linearly with the number of observations and factors. Our empirical study demonstrates that message passing is able to recover low-rank Boolean matrices, in the boundaries of theoretically possible recovery and compares favorably with state-of-the-art in real-world applications, such collaborative filtering with large-scale Boolean data.

研究の動機と目的

• 大規模かつスパースなデータセットにおけるNP困難なブール行列因子分解および補完問題に取り組むこと。
• ノイズありで部分的に観測されたブール行列上で、効率的に動作するスケーラブルな推論手法を開発すること。
• グラフィカルモデルと信念伝播を活用して、ブール要因分析における近似推論を実現すること。
• 実世界の協調フィルタリングおよび投票記録予測タスクにおいて、特に観測回数が少ない状況下で、既存手法を上回ること。

提案手法

• ブール行列因子分解および補完問題をベイジアングラフィカルモデルにおける最大後確信度推論として定式化する。
• 観測されたZから潜在的ブール要因XおよびYの推論を実行するために信念伝播（BP）を適用する。
• ブールドメインおよびXOR／ブール積演算に特化したミニマム・サムおよびサムプロダクト・メッセージパッシングの変種を用いる。
• 要因に一様事前分布を適用し、部分的に観測されたエントリの確率的観測モデルを用いてノイズをモデル化する。
• 観測エントリ数に線形にスケーリングするメッセージ更新ルールを導出することで、大規模データセットにおける効率性を実現する。
• 標準的なブール積（OR）およびXOR積（排他的論理和）の両方の設定に適応したフレームワークを構築し、類似したメッセージパッシングの導出を実施する。

実験結果

リサーチクエスチョン

• RQ1 NP困難な制約下でも、メッセージパッシングが効率的かつ正確なブール行列因子分解および補完の解決策を提供できるか？
• RQ2 観測回数が少ない状況下で、GLRM や 1ビット行列補完といった最先端手法と比較して、メッセージパッシングの性能はどの程度か？
• RQ3 観測エントリのわずかな割合しか入手できない状況下で、メッセージパッシングがどの程度低ランクブール構造を回復できるか？
• RQ4 提案手法は、協調フィルタリングや米国上院の投票記録といった実世界のスパースなブールデータセットに効果的に適用可能か？
• RQ5 メッセージパッシングアプローチは、大規模応用におけるノイズありで不完全な観測を処理するにあたり、スケーラブルで頑健であると言えるか？

主な発見

• 1%のエントリしか観測されていない状況下で、メッセージパッシングは他の手法、特にGLRMおよび1ビット補完を著しく上回り、予測誤差が低くなる。
• 5%の観測エントリ率では、米国上院投票データセットにおいて、メッセージパッシングはGLRM（ハンジング損失を用いる）の再構成誤差の約半分を達成する。
• 観測率が20%および50%に上昇する際には、メッセージパッシングとGLRMの性能はほぼ同等となり、GLRMがわずかに優れるが、計算時間は著しく高くなる。
• 特にスパースな状況下では、メッセージパッシングは1ビット行列補完よりも桁違いに高速に動作する。これは線形時間計算量のおかげである。
• 本手法は、MovieLensや上院投票データなど実世界の応用において、高精度で低ランクブール構造を効果的に回復できた。
• ノイズに強く、1件のレーティングに対して1ビットの情報しか利用できない状況でも効果的に機能し、順序付きレーティングを全量使用する手法を上回る性能を示した。