[논문 리뷰] Neural Enhanced Belief Propagation on Factor Graphs

Victor García Satorras, Max Welling|arXiv (Cornell University)|2020. 03. 04.

Error Correcting Code Techniques참고 문헌 8인용 수 34

한 줄 요약

NEBP는 belief propagation과 factor-graph–전용 FG-GNN을 결합하여 BP 메시지를 다듬고, 버스트리 노이즈 하에서 LDPC 디코딩을 향상시키며 Ising 모델과 같은 루프 그래프에서도 잘 작동한다.

ABSTRACT

A graphical model is a structured representation of locally dependent random variables. A traditional method to reason over these random variables is to perform inference using belief propagation. When provided with the true data generating process, belief propagation can infer the optimal posterior probability estimates in tree structured factor graphs. However, in many cases we may only have access to a poor approximation of the data generating process, or we may face loops in the factor graph, leading to suboptimal estimates. In this work we first extend graph neural networks to factor graphs (FG-GNN). We then propose a new hybrid model that runs conjointly a FG-GNN with belief propagation. The FG-GNN receives as input messages from belief propagation at every inference iteration and outputs a corrected version of them. As a result, we obtain a more accurate algorithm that combines the benefits of both belief propagation and graph neural networks. We apply our ideas to error correction decoding tasks, and we show that our algorithm can outperform belief propagation for LDPC codes on bursty channels.

연구 동기 및 목표

• 진정한 데이터 생성 과정이 알려지지 않았거나 루프 그래프가 BP 정확도에 제약을 주는 상황에서 belief propagation의 개선 필요성에 동기를 부여한다.
• 그래프 신경망을 일반적인 factor graph에서 작동하도록 확장한다(FG-GNN).
• BP 메시지를 FG-GNN 출력으로 정제하는 하이브리드 추론 알고리즘 NEBP를 제안한다.
• Bursty 노이즈가 있는 LDPC 디코딩 및 Ising 모델에서의 강건성과 정확도 개선을 입증한다.

제안 방법

• FG-GNN을 변수 노드와 팩터 노드가 있는 factor graph에 확장한다(FG-GNN).
• 두 개의 에지 함수(x→f, f→x)와 두 개의 노드 업데이트(h_f, h_x)를 갖는 FG-GNN 메시지 전달을 정의한다.
• BP 메시지를 FG-GNN에 피드하고 학습된 정제를 이용해 BP 메시지를 업데이트하여 Belief Propagation과 FG-GNN의 통합을 구현한다.
• BP 단계당 2회의 FG-GNN을 사용하고 이를 N회 반복하여 정제된 주변 확률을 생성한다.
• 주변 확률에 대한 교차 엔트로피 손실과 BP에 가까이 있도록 하는 정규화 항을 포함하여 하이브드 반복을 역전파로 끝까지 학습한다.
• Bursty 채널의 LDPC 디코딩과 Ising 모델에 이 방법을 적용하여 강건성과 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 요소 그래프별 FG-GNN이 BP 메시지를 정제하여 실제 주변 확률이 참값에 더 근접하도록 만들 수 있는가(모델 불일치나 루프 하에서)?
• RQ2 NEBP가 AWGN 성능을 희생하지 않으면서 버스트리 노이즈에서 LDPC 디코딩 성능을 향상시키는가?
• RQ3 Ising 네트워크와 같은 루프형 그래프 모델에서 표준 BP 및 FG-GNN 단독과 비교하여 NEBP의 성능은 어떤가?
• RQ4 채널과 매개변수의 분포에 대해 학습하는 것이 일반화에 끼치는 영향(메타러닝 관점)은 무엇인가?
• RQ5 학습된 정제가 damping 및 기타 BP 개선과 어떻게 상호 작용하는가?

주요 결과

• NEBP는 BP가 루프나 모델 불일치로 인해 최적이 아닐 수 있는 상황에서 표준 BP 및 FG-GNN보다 일관되게 우수하다.
• 버스트리 노이즈가 있는 LDPC 디코딩에서 NEBP는 버스트 분산이 증가할수록 비트 오류율과 강건성이 개선되며, AWGN에서의 LDPC 성능에 근접하거나 버스트가 발생했을 때 이를 능가한다.
• Ising 모델 실험에서 NEBP는 다양한 결합 강도에서 BP 및 FG-GNN보다 참 주변 확률에 대한 KL 발산이 더 낮게 나타나며, 특히 불일치 하에서 더욱 두드러진다.
• FG-GNN 단독은 일부 영역에서 BP보다 저조한 성능을 보일 수 있으나, BP 사전 정보를 학습 정제로 보완하는 NEBP의 조합으로 benefiting한다.