[論文レビュー] Neural Enhanced Belief Propagation on Factor Graphs

Victor García Satorras, Max Welling|arXiv (Cornell University)|Mar 4, 2020

Error Correcting Code Techniques参考文献 8被引用数 34

ひとこと要約

NEBP は信念伝搬と因子グラフ専用の FG-GNN を組み合わせて BP メッセージを精練し、バーストノイズ下の LDPC デコードを改善し、Ising モデルのようなループを持つグラフでも良好に機能する。

ABSTRACT

A graphical model is a structured representation of locally dependent random variables. A traditional method to reason over these random variables is to perform inference using belief propagation. When provided with the true data generating process, belief propagation can infer the optimal posterior probability estimates in tree structured factor graphs. However, in many cases we may only have access to a poor approximation of the data generating process, or we may face loops in the factor graph, leading to suboptimal estimates. In this work we first extend graph neural networks to factor graphs (FG-GNN). We then propose a new hybrid model that runs conjointly a FG-GNN with belief propagation. The FG-GNN receives as input messages from belief propagation at every inference iteration and outputs a corrected version of them. As a result, we obtain a more accurate algorithm that combines the benefits of both belief propagation and graph neural networks. We apply our ideas to error correction decoding tasks, and we show that our algorithm can outperform belief propagation for LDPC codes on bursty channels.

研究の動機と目的

• 真のデータ生成過程が未知である場合や、ループを持つグラフが BP の精度を妨げる場合に、信念伝搬の改善を動機づける。
• 一般的な因子グラフ上で動作するようにグラフニューラルネットワークを拡張する（FG-GNN）。
• FG-GNN の出力を介して BP メッセージを改良するハイブリッド推論アルゴリズム NEBP を提案する。
• バーストノイズを含む LDPC デコードおよび Ising モデルにおける堅牢性と精度向上を実証する。

提案手法

• 変数ノードと因子ノードを含む因子グラフに GNN を拡張する（FG-GNN）。
• 2 つのエッジ関数（x→f および f→x）と 2 つのノード更新（h_f および h_x）を用いた FG-GNN のメッセージパッシングを定義する。
• BP メッセージを FG-GNN に入力し、学習済みの改良で BP メッセージを更新することにより FG-GNN を信念伝搬と組み合わせる。
• BP ステップごとに 2 回の反復 FG-GNN を用い、N 回の反復にわたって refined マージナルを生成する。
• 周辺分布に対する交差エントロピー損失と BP に近い状態を促進する正則化項を用いて、ハイブリッド反復を逆伝播してエンドツーエンドで訓練する。
• 本手法をバースト性チャネル上の LDPC デコードおよび Ising モデルへ適用し、堅牢性と精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 因子グラフ特化型 FG-GNN は、モデルのミスマッチやループ下で BP メッセージを refine し、地真の周辺分布により近い値を産み出すことができるか。
• RQ2 NEBP は AWGN 性能を犠牲にせず、バーストノイズ下で LDPC デコード性能を向上させるか。
• RQ3 NEBP は Ising ネットワークのようなループを持つグラフィカルモデルで、標準の BP および単独の FG-GNN と比べてどのように性能を発揮するか。
• RQ4 チャネルとパラメータの分布での訓練（メタ学習の視点）が一般化に与える影響は何か。
• RQ5 学習済みの改良はダンピングなどの BP の強化とどのように相互作用するか。

主な発見

Model	KL Divergence (u=0)	KL Divergence (u=0.2)	KL Divergence (u=0.4)	KL Divergence (u=0.8)
FG-GNN	0.0141	0.0570	0.1170	0.1659
BP	0.0190	0.0711	0.2081	0.3121
BP (damping)	0.0055	0.0519	0.1318	0.1961
NEBP	0.0091	0.0509	0.1057	0.1697

• NEBP は BP がループやモデルミスマッチのために最適であるとは限らない場合、標準の BP および FG-GNN を一貫して上回る。
• バーストノイズを伴う LDPC デコードで、脅威が大きくなるとビット誤り率と堅牢性が向上し、AWGN での LDPC 性能に近づき、バーストが発生するとそれを上回る。
• Ising モデルの実験では、結合強度のさまざまな場合で、ミスマッチ時を特に、真の周辺分布に対するKL発散が BP および FG-GNN より低くなる。
• FG-GNN 単独は一部の領域で BP より劣る場合があるが、NEBP は BP の事前情報を学習済み改良と組み合わせることで利を得る。