[논문 리뷰] Amortized Bethe Free Energy Minimization for Learning MRFs

Sam Wiseman, Yoon Kim|arXiv (Cornell University)|2019. 06. 01.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 샘플링 없이 정확한 기울기 계산이 가능한 암시적 베테 자유에너지 최소화를 사용하여 마르코프 무작위 필드(MRFs)를 학습하는 새로운 방법을 제안한다. 베테 근사에서 유도된 안장점 목표 함수를 활용함으로써, 순환 신뢰 전파와 다른 최근의 방법들보다 빠른 추론과 더 나은 테스트 로그우도를 달성한다.

ABSTRACT

We propose to learn deep undirected graphical models (i.e., MRFs) with a non-ELBO objective for which we can calculate exact gradients. In particular, we optimize a saddle-point objective deriving from the Bethe free energy approximation to the partition function. Unlike much recent work in approximate inference, the derived objective requires no sampling, and can be efficiently computed even for very expressive MRFs. We furthermore amortize this optimization with trained inference networks. Experimentally, we find that the proposed approach compares favorably with loopy belief propagation, but is faster, and it allows for attaining better held out log likelihood than other recent approximate inference schemes.

연구 동기 및 목표

• 스케일러블하고 미분 가능한 추론을 갖는 딥 비방향 그래픽 모델을 훈련하는 데 도전하는 것.
• MRF 학습을 위한 정확한 기울기 계산이 가능한 비-ELBO 목표 함수를 개발하는 것.
• 베테 자유에너지로 분할 함수 근사를 효율적으로 최적화하는 것.
• 기존의 근사 추론 기법들과 비교해 일반화 성능과 테스트 로그우도 성능을 향상시키는 것.
• 암시적 추론 네트워크와 베테 자유에너지 최소화를 결합하여 스케일러블한 MRF 훈련을 가능하게 하는 것.

제안 방법

• 분할 함수의 베테 자유에너지 근사를 기반으로 유도된 안장점 목표 함수를 최적화한다.
• 샘플링을 피하기 위해 베테 자유에너지와 그 기울기를 정확한 해석적 계산으로 수행한다.
• 암시적 추론 네트워크를 평균장 파라미터를 근사하도록 훈련시켜 추론 비용을 감소시킨다.
• 베테 근사의 구조를 활용하여 엔드 투 엔드 훈련을 위한 정확한 기울기를 계산한다.
• 베테 자유에너지에 대한 기울기 하강 최적화를 수행함으로써 표현력 있는 MRF의 스케일러블한 학습을 가능하게 한다.
• 샘플링이 없기 때문에 복잡한 고차원 MRF들에 대해서도 효율적인 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 비-ELBO 목표 함수를 사용하여 샘플링 없이 정확한 기울기 계산이 가능한 MRF 훈련이 가능한가?
• RQ2 딥 MRF에서 샘플링 없이 베테 자유에너지 최소화를 효율적으로 계산할 수 있는가?
• RQ3 베테 자유에너지와 함께 암시적 추론은 기존의 근사 추론 방법보다 더 나은 일반화 성능을 보이는가?
• RQ4 순환 신뢰 전파와 비교해 제안된 방법은 속도와 로그우도 성능에서 어떻게 다른가?
• RQ5 표현력 있는 MRF에 대해 훈련 효율성을 유지하면서도 이 방법이 확장 가능한가?

주요 결과

• 제안된 방법은 성능을 유지하거나 향상시키면서도 순환 신뢰 전파보다 빠른 추론을 달성한다.
• 기타 최근의 근사 추론 기법들보다 더 나은 테스트 로그우도를 달성한다.
• 샘플링 없이도 정확한 기울기 계산이 가능하여 훈련의 안정성과 효율성이 향상된다.
• 암시적 추론 네트워크가 훈련 및 테스트 중 추론 비용을 효과적으로 감소시킨다.
• 베테 자유에너지 계산의 해석적 성격 덕분에 표현력 있는 MRF로 잘 확장된다.
• 베테 근사에서 유도된 안장점 목표 함수는 샘플링 기반 대안들보다 더 정확한 분할 함수 추정을 가능하게 한다.