[논문 리뷰] Expectation Propogation for approximate inference in dynamic Bayesian networks

Tom Heskes, Onno Zoeter|arXiv (Cornell University)|2012. 12. 12.

Bayesian Modeling and Causal Inference참고 문헌 7인용 수 8

한 줄 요약

이 논문은 복잡하고 비공액성 모델을 다룰 수 있도록 펄의 정확한 신뢰도 전파를 확장하여 동적 베이지안 네트워크(DBNs)에서의 근사 추론을 위한 기대 전파(EP)를 소개한다. 이는 베이즈 자유 에너지의 국소 최솟값으로 수렴하는 双중 루프 EP 알고리즘을 제안하며, 수렴 안정성과 스위칭 선형 동적 시스템에 대한 적용 가능성을 입증한다.

ABSTRACT

We describe expectation propagation for approximate inference in dynamic Bayesian networks as a natural extension of Pearl s exact belief propagation.Expectation propagation IS a greedy algorithm, converges IN many practical cases, but NOT always.We derive a DOUBLE - loop algorithm, guaranteed TO converge TO a local minimum OF a Bethe free energy.Furthermore, we show that stable fixed points OF (damped) expectation propagation correspond TO local minima OF this free energy, but that the converse need NOT be the CASE .We illustrate the algorithms BY applying them TO switching linear dynamical systems AND discuss implications FOR approximate inference IN general Bayesian networks.

연구 동기 및 목표

• 기대 전파를 사용하여 정확한 신뢰도 전파를 동적 베이지안 네트워크에서의 근사 추론으로 확장하는 것.
• 시간에 따라 변화하는 의존성을 가지며 복잡하고 비공액성인 DBNs에서 정확한 추론의 한계를 해결하는 것.
• 확률적 일관성을 유지하면서도 안정적이고 수렴 가능한 근사 추론 알고리즘을 개발하는 것.
• 감쇠된 EP의 고정점과 DBNs에서의 베이즈 자유 에너지 국소 최솟값 사이의 이론적 연결 고리를 설정하는 것.
• 비선형적이고 비정규 분포를 가지는 DBNs에 대한 기준으로 스위칭 선형 동적 시스템에서 방법을 평가하는 것.

제안 방법

• 숨겨진 상태에 대한 근사 사후분포를 반복적으로 개선함으로써 기대 전파를 동적 베이지안 네트워크에 적응시키는 방식.
• 이중 루프 알고리즘을 사용: 외부 루프는 충분통계량을 갱신하고 내부 루프는 모멘트 매칭을 통해 근사를 정밀화함.
• 베이즈 자유 에너지를 최소화하는 목적 함수로 사용하며, EP의 고정점은 이 에너지의 국소 최솟값에 해당함.
• 반복적 추론에서 수렴 안정성을 향상시키기 위해 감쇠된 업데이트를 적용함.
• 루프가 있는 그래픽 모델에 대한 베이즈 근사에 기반한 변분 추론 프레임워크를 유도함.
• 국소 선형화와 모멘트 매칭을 활용하여 스위칭 선형 동적 시스템에서의 복잡한 조건부 분포를 근사함.

실험 결과

연구 질문

• RQ1 비공액성 및 비정규 성분을 가진 동적 베이지안 네트워크에 대해 기대 전파가 효과적으로 확장될 수 있는가?
• RQ2 DBNs에 대한 이중 루프 EP 알고리즘이 안정적인 해로 수렴하는가? 어떤 조건에서 그러한 수렴이 이루어지는가?
• RQ3 감쇠된 기대 전파의 고정점은 DBNs에서의 베이즈 자유 에너지 국소 최솟값과 어떻게 관련이 있는가?
• RQ4 EP는 스위칭 선형 동적 시스템에서 정확하고 확장 가능한 근사 추론을 제공할 수 있는가?
• RQ5 EP의 수렴과 시간에 따라 변화하는 모델에서의 베이즈 자유 에너지 최적화 사이의 이론적 관계는 무엇인가?

주요 결과

• 이중 루프 기대 전파 알고리즘은 동적 베이지안 네트워크에서 베이즈 자유 에너지의 국소 최솟값으로 수렴함이 보장된다.
• 감쇠된 기대 전파의 안정적 고정점은 베이즈 자유 에너지의 국소 최솟값에 해당하지만, 그 역은 반드시 성립하지는 않는다.
• 이 방법은 스위칭 선형 동적 시스템에서 근사 추론을 성공적으로 수행하여 실용적 적용 가능성을 입증한다.
• DBNs에서의 기대 전파 알고리즘은 정확한 추론이 불가능한 상황에서도 많은 실용적 사례에서 수렴하는 탐욕 알고리즘으로 간주된다.
• 이론적 프레임워크는 루프가 있는 시간 연속 모델에서 EP 수렴과 변분 자유 에너지 최소화 사이의 엄밀한 연결 고리를 확립한다.
• 실험 결과는 표준 방법이 실패하는 비선형적이고 비정규 분포 설정에서도 EP가 정확한 사후 근사를 제공함을 보여준다.