[논문 리뷰] Structured Region Graphs: Morphing EP into GBP

Max Welling, Thomas P. Minka외 1명|arXiv (Cornell University)|2012. 07. 04.

Evolutionary Algorithms and Applications참고 문헌 8인용 수 32

한 줄 요약

이 논문은 기대치 전파(EP)와 루프가 있는 신뢰 전파(GBP)를 통합하는 유일한 프레임워크인 구조적 영역 그래프를 소개한다. 이는 영역 내에 지수족 구조를 통합함으로써 이루어지며, 이는 이산 변수에 대한 EP 근사가 GBP의 특수한 경우임을 드러내고, 반대로 GBP 근사도 EP의 특수한 경우임을 보여준다. 이는 최대 엔트로피 정규성과 세数 수가 1인 구조적 성질을 유지함으로써 고품질의 사용자 조절 가능한 근사값을 가능하게 한다. 이는 확률적 추론에서의 정확도를 향상시킨다.

ABSTRACT

GBP and EP are two successful algorithms for approximate probabilistic inference, which are based on different approximation strategies. An open problem in both algorithms has been how to choose an appropriate approximation structure. We introduce 'structured region graphs', a formalism which marries these two strategies, reveals a deep connection between them, and suggests how to choose good approximation structures. In this formalism, each region has an internal structure which defines an exponential family, whose sufficient statistics must be matched by the parent region. Reduction operators on these structures allow conversion between EP and GBP free energies. Thus it is revealed that all EP approximations on discrete variables are special cases of GBP, and conversely that some wellknown GBP approximations, such as overlapping squares, are special cases of EP. Furthermore, region graphs derived from EP have a number of good structural properties, including maxent-normality and overall counting number of one. The result is a convenient framework for producing high-quality approximations with a user-adjustable level of complexity

연구 동기 및 목표

• 기대치 전파(EP)와 루프가 있는 신뢰 전파(GBP)를 동일한 수학적 형식으로 통합하는 것.
• EP와 GBP에서 최적의 근사 구조를 선택하는 데 있어 열려 있는 문제를 해결하는 것.
• 영역 기반 표현을 통해 EP와 GBP 간의 깊은 구조적 연결 고리를 드러내는 것.
• 사용자 조절 가능한 복잡도로 고품질의 근사값을 생성할 수 있는 프레임워크를 제공하는 것.

제안 방법

• 각 영역가 내부 지수족 구조를 가지며, 부모 영역의 충분통계량과 일치하는 영역 그래프를 도입한다.
• EP와 GBP 간의 자유 에너지 표현을 변환할 수 있는 감소 연산자를 정의하여 두 알고리즘 간의 변환을 가능하게 한다.
• 최대 엔트로피 정규성과 총 세수 수가 1인 등의 구조적 제약 조건을 도입하여 일관성과 안정성을 확보한다.
• EP에서 유도된 영역 그래프를 사용하여 유효한 GBP 근사값을 생성하고, 반대로 GBP에서 유도된 영역 그래프를 사용하여 유효한 EP 근사값을 생성함으로써 특정 조건 하에서 동치성을 입증한다.
• 부모 영역이 자식 영역의 충분통계량에 대한 모멘트 매칭을 강제하는 계층적 영역 구조를 사용한다.
• 이 형식을 적용하여 이산 변수에 대한 EP 근사값이 GBP의 특수한 경우임을 보이며, 겹치는 정사각형과 같은 잘 알려진 GBP 구조도 EP의 특수한 경우임을 입증한다.

실험 결과

연구 질문

• RQ1 EP와 GBP는 어떻게 동일한 근사 프레임워크 아래 공식화될 수 있는가?
• RQ2 어떤 구조적 성질이 영역 기반 근사에서 일관성과 고품질 추론을 보장하는가?
• RQ3 이산 변수에 대한 EP 근사값은 GBP의 특수한 경우로 표현될 수 있는가?
• RQ4 겹치는 정사각형과 같은 잘 알려진 GBP 구조는 EP의 사례로 해석될 수 있는가?
• RQ5 정확도를 유지하면서 근사의 복잡도는 어떻게 제어할 수 있는가?

주요 결과

• 구조적 영역 그래프 형식 하에서 이산 변수에 대한 모든 EP 근사값은 GBP의 특수한 경우이다.
• 겹치는 정사각형과 같은 잘 알려진 GBP 근사값은 구조적 영역 그래프 프레임워크를 통해 볼 때 EP의 특수한 경우이다.
• EP에서 유도된 영역 그래프는 최대 엔트로피 정규성과 총 세수 수가 1인 바람직한 구조적 성질을 지닌다.
• EP와 GBP 자유 에너지 간의 감소 연산자는 두 알고리즘 간의 체계적 변환을 가능하게 한다.
• 이 프레임워크는 사용자 조절 가능한 복잡도 수준으로 고품질의 근사값을 제공할 수 있다.
• 이 형식은 EP와 GBP 간의 깊은 이원성(duality)을 드러내며, 둘의 근사 전략을 동일한 수학적 구조 아래 통합한다.