[論文レビュー] Linearized and Turbo Belief Propagation.

Wolfgang Gatterbauer, Stephan Günnemann+2 more|arXiv (Cornell University)|Jun 27, 2014

Error Correcting Code Techniques参考文献 38被引用数 1

ひとこと要約

本稿では、ネットワーク内のノード分類のための標準的ベイズ的伝搬（BP）の代替手段として、収束保証付きの線形行列ベースの手法、Linearized Belief Propagation（LBP）とTurbo Belief Propagation（TBP）を導入する。LBPは行列演算を用いて閉形式解を得られるが、TBPは局所的で段階的更新が可能な予測を提供する。両手法とも標準BPと同等の性能を達成するが、実行速度は数個のオーダー以上に高速であり、SQLで実装可能なコンactな実装が可能である。

ABSTRACT

How can we tell when accounts are fake or real in a social network? And how can we tell which accounts belong to liberal, conservative or centrist users? Often, we can answer such questions and label the class of a node in a network based on its neighbors and appropriate assumptions of ho-mophily (“birds of a feather flock together”) or heterophily (“opposites attract”). One of the most widely used methods for this kind of reasoning is Belief Propagation (BP) which iteratively propagates the information from a few nodes with explicit beliefs throughout the network until it converges. However, one main problem with BP is that there are no guarantees of convergence in general graphs with loops. This paper introduces Linearized Belief Propagation (LPB), a linearization of BP that allows a closed-form solu-tion via intuitive matrix calculations and, thus, comes with convergence guarantees. It handles homophily, heterophily, and more general cases that arise in multi-class settings. The paper also introduces Turbo Belief Propagation (TBP), a “localized ” version of LBP for which the final class assign-ments depend only on the nearest labeled neighbors. TBP (in contrast to standard BP and LBP) allows fast incremen-tal updates in case of new explicit labels or new edges in the graph. We show an intuitive connection between LBP and TBP by proving that the labeling assignments for both are identical in the limit of decreasing coupling strengths between nodes in the graph. Importantly, the linearized matrix equations of both new methods allow compact imple-mentations in SQL. Finally, our runtime experiments show that both new methods are orders of magnitude faster than standard BP while leading to almost identical node labels. 1.

研究の動機と目的

• ループを含む一般のグラフにおいて、標準的ベイズ的伝搬（BP）に収束保証がないという問題に取り組む。
• 行列演算を用いて閉形式解が得られるように線形化した手法を開発し、より高速で信頼性の高いノード分類を実現する。
• 新しいラベルやエッジが追加された際に、高速な段階的更新が可能な局所的バージョン（TBP）を設計する。
• 弱い結合の極限において、LBPとTBPが等価であることを示すことで、両手法を共通の枠組みに統合する。
• スケーラブルな展開を可能にするために、データベース上で効率的なノード分類の実装を可能にする。

提案手法

• LBPは、ベイズ的伝搬の更新式を線形行列方程式系に線形化し、行列逆行列または反復解法を用いて直接解くことができる。
• TBPは影響を最も近いラベル付き隣接ノードに限定することで、局所的計算と高速な段階的更新を可能にする。
• ノード間の類似性や相違性を反映するエッジ重みを組み込むことで、同調性（homophily）と異質性（heterophily）の両方をモデル化する。
• 理論的分析により、LBPとTBPがノード間の結合強度が小さくなる極限において同一のラベル割り当てを生成することを証明する。
• 線形方程式は直接SQLで実装可能であり、効率的なデータベースベースの展開を可能にする。
• 両手法は、実行時間の実験を通じて、標準BPと比較して速度とラベル精度の両面で評価されている。

実験結果

リサーチクエスチョン

• RQ1 一般のループを含むグラフにおいて、ベイズ的伝搬に収束保証を達成できるか？
• RQ2 閉形式解が得られ、計算が高速化できるように、ベイズ的伝搬の線形化されたバージョンをどのように設計できるか？
• RQ3 新しいラベルやエッジが追加された際に、効率的な段階的更新が可能な局所的バージョンのベイズ的伝搬を構築できるか？
• RQ4 線形化されたバージョンと局所的バージョンのベイズ的伝搬の間には、理論的関係があるか？
• RQ5 得られた手法を、スケーラブルなネットワーク分類のためのSQLで効率的に実装できるか？

主な発見

• LBPとTBPは、標準的BPとほぼ同等のノードラベル付け精度を達成するが、実行速度は数個のオーダー以上に高速である。
• LBPの線形行列形式により収束が保証されるが、ループを含むグラフでは標準的BPは発散する可能性がある。
• TBPは、新しいラベルやエッジが追加された際に高速な段階的更新が可能であるが、標準的BPやLBPではそれができない。
• ノード間の結合が弱くなる極限において、LBPとTBPは同一のラベル割り当てを生成するため、両手法間に理論的関係が確立される。
• 両手法の線形方程式は、SQL上でコンパクトかつ効率的に実装可能であり、データベースシステムにおけるスケーラブルな展開を可能にする。
• 実行時間の実験により、両手法がラベル精度を損なわずに標準的BPを著しく上回ることが確認された。