[논문 리뷰] Belief Propagation Neural Networks

Jonathan Kuck, Shuvam Chakraborty외 5명|arXiv (Cornell University)|2020. 07. 01.

Machine Learning and Data Classification참고 문헌 47인용 수 16

한 줄 요약

이 논문은 신뢰도 전파 신경망(BPNNs)을 소개한다. BPNNs는 신뢰도 전파의 기반 이론적 보장을 유지하면서도 파라미터화되고 미분 가능한 일반화된 형태로, 인과 그래프에서 분할 함수를 더 정확하고 효율적으로 추정할 수 있도록 한다. BPNNs는 이소잉 모델에서 표준 BP보다 1.7배 빠른 수렴 속도를 보이며, 수작업으로 설계된 방법과 유사한 정확도를 유지하면서도 모델 수를 100배 빠르게 계산한다. 또한 훈련 과정에서 볼 수 없었던 그래프나 더 큰 인스턴스로의 일반화 능력이 뛰어나다.

ABSTRACT

Learned neural solvers have successfully been used to solve combinatorial optimization and decision problems. More general counting variants of these problems, however, are still largely solved with hand-crafted solvers. To bridge this gap, we introduce belief propagation neural networks (BPNNs), a class of parameterized operators that operate on factor graphs and generalize Belief Propagation (BP). In its strictest form, a BPNN layer (BPNN-D) is a learned iterative operator that provably maintains many of the desirable properties of BP for any choice of the parameters. Empirically, we show that by training BPNN-D learns to perform the task better than the original BP: it converges 1.7x faster on Ising models while providing tighter bounds. On challenging model counting problems, BPNNs compute estimates 100's of times faster than state-of-the-art handcrafted methods, while returning an estimate of comparable quality.

연구 동기 및 목표

• 최근 결정 및 최적화 작업에 대한 학습된 신경망 솔버의 발전에도 불구하고, 조합 문제에 대한 효율적이고 정확한 근사 수량 계산에 있어 수작업으로 설계된 솔버에 크게 의존하고 있는 문제를 메우기 위해.
• 신뢰도 전파(BP)를 일반화하면서도 그 유용한 이론적 성질(예: 트리에서의 수렴, 루프가 있는 그래프에서의 증명 가능한 하한값)을 유지하는 신경망 아키텍처를 개발하기 위해.
• 훈련 과정에서 볼 수 없었던 인과 그래프나 더 큰 인스턴스로의 일반화를 가능하게 하여, 강건성과 확장성을 향상시키기 위해.
• 표준 BP가 수렴하지 못하는 어려운 문제들, 예를 들어 모델 수 계산 문제에서 추정 정확도와 속도를 향상시키기 위해.
• 다양한 신경망과 확률적 추론 간 격차를 메우기 위해, 대칭성을 존중하고 BP의 구조적 불변성을 유지하는 레이어를 설계하기 위해.

제안 방법

• 표준 신뢰도 전파를 일반화하면서도 트리형 구조 그래프에서의 수렴 보장과, 약한 조건 하에서 루프가 있는 그래프에서의 증명 가능한 하한값을 유지하는, 미분 가능하고 반복적이고 파rameter화된 연산자인 BPNN-D를 제안한다.
• 고정된 반복 수 내에서 신뢰도 경로를 진짜 분할 함수로 매핑하는 회귀 기반 레이어인 BPNN-B를 도입하며, 일부 이론적 보장을 포기하고 유연성과 성능 향상을 추구한다.
• BPNN-D와 BPNN-B 모두 인과 그래프의 동형성에 대해 불변하도록 설계되어, 노드 레이블링이나 그래프 순열에 관계없이 일관된 예측을 보장한다.
• 분할 함수의 진짜 로그 값과 예측된 값 간의 평균 제곱 오차를 사용하여, 알려진 분할 함수를 가진 인과 그래프 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 단일 GPU에서 300 에포크 동안 배치 크기 8, 고정 학습률 2e-4로 표준 Adam 옵timizer를 사용하여 파rameter를 최적화한다.
• 인과 그래프의 구조와 메시지 전파 동역학을 활용하여, 다양한 그래프 구조와 크기에 걸쳐 일반화 가능한 학습된 메시지 업데이트를 임bedding한다.

실험 결과

연구 질문

• RQ1 신뢰도 전파의 핵심 이론적 성질(예: 트리에서의 수렴, 루프가 있는 그래프에서의 증명 가능한 하한값)을 유지하면서도 일반화된 신경망 아키텍처를 설계할 수 있는가?
• RQ2 학습 세트와 다른 분포의 간선 및 클래스 확률을 가진 인과 그래프, 또는 훈련 과정에서 볼 수 없었던 변수 수가 훨씬 많은 그래프로의 학습된 BP 변종의 일반화 능력은 어느 정도인가?
• RQ3 밀도가 높고 완전히 연결된 그래프(예: 스토하스틱 블록 모델)에서 분할 함수와 변량을 추정할 때, BPNNs가 표준 BP와 그래프 신경망(GNN)을 얼마나 능가하는가?
• RQ4 표준 BP가 수렴하지 못하는 SAT 문제에 대해, BPNNs가 소수의 훈련 예제만으로도 고정밀도의 모델 수 계산 추정치를 얻을 수 있는가?
• RQ5 특히 어려운 인스턴스에서 수작업으로 설계된 근사 모델 수계산기와 비교해 BPNNs의 성능은 속도와 정확도 측면에서 어떻게 되는가?

주요 결과

• 이소잉 모델에서 BPNN-D는 표준 BP보다 1.7배 더 빠른 수렴 속도를 보이며, 분할 함수에 대한 더 타이트한 하한값을 제공하는 고정점을 일관되게 찾는다.
• BPNN-D는 훈련 세트와 다른 분포에서 유래한 이소잉 모델과 거의 두 배의 변수를 가진 그래프로도 효과적으로 일반화되며, BP나 표준 GNN보다 유의미하게 더 우수한 로그 분할 함수 추정치를 얻는다.
• 커뮤니티 탐지 문제에서는 BP와 표준 GNN을 모두 능가하는 성능을 보이며, BP가 경험적·이론적으로 효과가 있다고 알려진 설정에서의 성능 향상을 입증한다.
• 근사 모델 수 계산에서는 BPNN이 단지 수십 개의 훈련 문제에서만 학습해도 정확한 추정치를 얻으며, 최신 수작업 솔버보다 100배 더 빠르게 계산한다. 이는 유사한 추정 정확도를 유지한다.
• 훈련 과정에서의 80% 더 많은 간선을 가진 최대 20개 노드의 분포 외 스토하스틱 블록 모델에서 BPNN은 BP와 GNN보다 로그 분할 함수 추정치의 RMSE가 낮아, 뛰어난 일반화 능력을 보인다.
• 15개 노드 그래프에서 BPNN은 마진 확률 추정에서 BP보다 거의 5개 항목의 정확도를 높였지만, GNN보다는 약 1개 항목 뿐이므로, 분할 함수에 집중한 BPNN이 마진 추정에서는 여전히 더 어려운 과제임을 시사한다.