[論文レビュー] Belief Propagation Neural Networks

Jonathan Kuck, Shuvam Chakraborty+5 more|arXiv (Cornell University)|Jul 1, 2020

Machine Learning and Data Classification参考文献 47被引用数 16

ひとこと要約

この論文では、信念伝播の微分可能でパラメータ化された一般化であるBelief Propagation Neural Networks (BPNNs) を提案する。BPNNs は、理論的保証を維持しながら、因子グラフにおける分配関数の推定をより正確かつ効率的に行える。BPNNs はイジングモデルにおいて標準的なBPに比べ1.7倍速く収束し、手作業で設計された手法に比べてモデルカウントを最大100倍速く処理するが、同等の精度を維持する。また、分布外のグラフやより大きなインスタンスに対しても一般化がうまくいく。

ABSTRACT

Learned neural solvers have successfully been used to solve combinatorial optimization and decision problems. More general counting variants of these problems, however, are still largely solved with hand-crafted solvers. To bridge this gap, we introduce belief propagation neural networks (BPNNs), a class of parameterized operators that operate on factor graphs and generalize Belief Propagation (BP). In its strictest form, a BPNN layer (BPNN-D) is a learned iterative operator that provably maintains many of the desirable properties of BP for any choice of the parameters. Empirically, we show that by training BPNN-D learns to perform the task better than the original BP: it converges 1.7x faster on Ising models while providing tighter bounds. On challenging model counting problems, BPNNs compute estimates 100's of times faster than state-of-the-art handcrafted methods, while returning an estimate of comparable quality.

研究の動機と目的

• 最近の決定・最適化タスク向けの学習済みニューラルソルバーの進展にもかかわらず、組合せ問題における効率的で正確な近似カウントの分野には、依然として手作業で設計されたソルバーに依存する空白が存在する。
• 木構造のグラフで収束し、ループを含むグラフでも証明可能な下界を保つという、信念伝播（BP）の望ましい理論的性質を維持しながら、BP を一般化するニューラルアーキテクチャの開発。
• 学習時に見られなかったより大きなインスタンスや分布外の因子グラフに対しても一般化できることを可能にし、耐障害性とスケーラビリティを向上させる。
• 標準的なBPが収束しないような困難な問題、たとえばモデルカウントにおいて推定の正確性と速度を向上させる。
• 微分可能なニューラルネットワークと確率的推論のギャップを埋めるために、対称性を尊重し、BP の構造的不変性を保つ層を設計する。

提案手法

• 標準的な信念伝播を一般化しつつ、木構造グラフでの収束保証と、やや弱い制約下でのループを含むグラフにおける証明可能な下界を維持する、微分可能で反復的かつパラメータ化された演算子であるBPNN-Dを提案。
• 固定回数の反復における信念軌道を真の分配関数にマップする回帰ベースの層であるBPNN-Bを導入。理論的保証の一部を犠牲にして、柔軟性と性能を向上させる。
• BPNN-D および BPNN-B が因子グラフの同型写像に対して不変であるように設計し、ノードラベルやグラフの順列変更に関係なく一貫した予測が得られるようにする。
• 因子グラフの分配関数が既知のデータセット上で、予測された対数分配関数と真の対数分配関数の平均二乗誤差を用いて、モデルをエンドツーエンドで訓練。
• 1つのGPUで、バッチサイズ8、固定学習率2e-4、300エポックの設定で、標準的なAdam最適化手法を用いてパラメータを最適化。
• 因子グラフの構造とメッセージパッシングのダイナミクスを活用し、異なるグラフトポロジーやサイズに一般化可能な学習済みメッセージ更新を埋め込む。

実験結果

リサーチクエスチョン

• RQ1 収束性（木構造グラフで収束）や証明可能な下界といった、信念伝播の主要な理論的性質を維持しながら、信念伝播を一般化するニューラルネットワークアーキテクチャを設計できるか。
• RQ2 学習時に見なかったエッジ確率やクラス確率の異なる分布、あるいは学習時よりもはるかに多くの変数を含む因子グラフに対し、学習済みBPの変種がどの程度一般化できるか。
• RQ3 スチュアティックブロックモデルのような密な完全接続グラフのような、密度の高いグラフにおいて、BPNNs が分配関数や周辺確率の推定で標準的なBPやGNNを上回る程度はどの程度か。
• RQ4 標準的なBPが収束しないSAT問題において、わずか数個の訓練例しか使わないBPNNs が、高精度なモデルカウント推定を達成できるか。
• RQ5 特にハードなインスタンスにおいて、BPNNs は手作業で設計された近似モデルカウンターよりも、速度と正確性の両面で優れているか。

主な発見

• イジングモデルにおいて、BPNN-D は標準的なBPに比べ1.7倍速く収束し、分配関数の下界をよりタイトに保つ固定点を一貫して見つける。
• 訓練データとは異なる分布からのイジングモデルや、変数数がほぼ2倍のグラフに対しても、BPNN-D は効果的に一般化し、BP や標準的なGNN よりも顕著に優れた対数分配関数推定を達成する。
• コミュニティ検出問題において、BPNN はBPおよび標準的なGNN を上回り、BPが実験的および理論的に有効であると知られている状況でも、より優れた性能を示す。
• 近似モデルカウントにおいて、BPNN はたった数十個の訓練問題からのみ学習し、最先端の手作業で設計されたソルバーに比べ100倍速く推定を実行しながら、同等の推定品質を維持する。
• 学習時に使用したものとは80％多いエッジ数（最大20ノード）を持つ分布外のスチュアティックブロックモデルにおいて、BPNN はBP や GNN よりも対数分配関数推定のRMSEが低く、優れた一般化性能を示す。
• 15ノードのグラフにおいて、BPNN はBPに比べほぼ5桁の正確性の向上を達成するが、GNN よりも約1桁の正確性の向上にとどまるため、BPNN が分配関数に焦点を当てているにもかかわらず、周辺確率推定は依然として困難なタスクであると考えられる。