[논문 리뷰] Faithful Inversion of Generative Models for Effective Amortized Inference

Stefan Webb, Adam Goliński외 5명|arXiv (Cornell University)|2017. 12. 01.

Bayesian Modeling and Causal Inference참고 문헌 7인용 수 8

한 줄 요약

이 논문은 변수 제거와 클리크 트리 전파를 사용하여 사후 분포에서 최소이자 충실한 베이지안 네트워크 구조를 구성함으로써 생성 모델을 암시적 추론 네트워크로 충실하게 역행하는 방법을 제안한다. 주요 기여는 이론적으로 탄탄한 최소 충실도를 가진 역모델로, 조건부 인적 구조 보존 보장과 함께 효과적인 암시적 추론을 가능하게 한다.

ABSTRACT

Inference amortization methods share information across multiple posterior-inference problems, allowing each to be carried out more efficiently. Generally, they require the inversion of the dependency structure in the generative model, as the modeller must learn a mapping from observations to distributions approximating the posterior. Previous approaches have involved inverting the dependency structure in a heuristic way that fails to capture these dependencies correctly, thereby limiting the achievable accuracy of the resulting approximations. We introduce an algorithm for faithfully, and minimally, inverting the graphical model structure of any generative model. Such inverses have two crucial properties: (a) they do not encode any independence assertions that are absent from the model and; (b) they are local maxima for the number of true independencies encoded. We prove the correctness of our approach and empirically show that the resulting minimally faithful inverses lead to better inference amortization than existing heuristic approaches.

연구 동기 및 목표

• 확률적 그래픽 모델에서 복잡한 사후 분포에 대한 효과적인 암시적 추론 네트워크를 구성하는 데 도전하는 것.
• 학습된 추론 모델이 사후 분포의 진짜 조건부 인적 구조를 유지하는 것.
• 사후 분포에 대해 최소이자 충실한 베이지안 네트워크 구조를 생성하는 방법을 개발하는 것.
• 생성 모델을 추론 네트워크로 역행시키는 이론적으로 탄탄한 프레임워크를 제공하는 것.
• 클리크 트리의 위상 순서와 세프셋 성질을 활용하여 효율적이고 확장 가능한 암시적 추론을 가능하게 하는 것.

제안 방법

• 조건부 인적 관계를 존중하는 사후 분해를 도출하기 위해 역위상 순서로 변수 제거를 적용하는 것.
• 각 클리크가 잠재 변수에 대응하고 세프셋이 부모 관계를 나타내는 방식으로 변수 제거 과정에서 클리크 트리를 구성하는 것.
• 각 제거 단계에서 유도된 그래프에서 미표기된 이웃을 기반으로 각 잠재 변수의 부모를 설정함으로써 역베이지안 네트워크 구조를 정의하는 것.
• 클리크 트리의 세프셋 성질을 사용하여 각 조건부 분포가 사후 분해에서 자신의 마르코프 블랭킷에만 의존하도록 보장하는 것.
• 결과로 도출된 모델이 사후 분포에 대한 I-맵(인적 관계 지도)임을 증명하여 진짜 조건부 인적 관계에 대한 충실도를 확보하는 것.
• 각 세프셋이 최소 분리 집합이므로, 충실도를 위반하지 않도록 어떤 간선도 제거할 수 없다는 점을 통해 최소성을 입증하는 것.

실험 결과

연구 질문

• RQ1 진짜 사후 분포의 조건부 인적 구조를 충실하게 포착하는 암시적 추론 네트워크를 구성할 수 있는가?
• RQ2 사후 분포의 조건부 인적 관계만을 사용하여 생성 모델을 구조화된 사후 네트워크로 역행시킬 수 있는가?
• RQ3 결과로 도출된 역모델의 충실도와 최소성에 대해 어떤 보장을 제공할 수 있는가?
• RQ4 변수 제거와 클리크 트리 전파를 어떻게 활용하여 이론적으로 탄탄한 사후 분해를 도출할 수 있는가?
• RQ5 왜곡된 의존성이나 데이터에 대한 과적합을 유발하지 않고도 역모델을 구성할 수 있는가?

주요 결과

• 제안된 방법은 사후 분포에 대한 I-맵인 베이지안 네트워크 구조를 생성하여, 진짜 사후 분포에 존재하지 않는 어떤 독립성도 인코딩하지 않음을 보장한다.
• 역모델은 최소 충실도를 가지며, 각 세프셋이 최소 분리 집합이므로 어떤 간선도 제거할 수 없고, 그렇지 않으면 충실도가 위반된다.
• 클리크 트리 구조를 통해 사후 분해가 정확히 보존되며, 각 조건부 분포가 역그래프에서 자신의 마르코프 블랭킷에만 의존한다.
• 이 방법은 결과로 도출된 추론 네트워크가 진짜 사후 분포와 동일한 조건부 인적 구조를 가지며, 충실한 암시적 추론을 가능하게 한다.
• 구성은 결정론적이며 사후 분포의 조건부 인적 관계에 기반하여 히어리스틱이나 근사 방법을 피한다.
• 이 접근법은 이론적으로 탄탄하고 일반화 가능하며, 변수 제거와 베이지안 네트워크의 d-분리 성질에만 의존한다.