[논문 리뷰] A General Framework for Cutting Feedback within Modularised Bayesian Inference

Yang Liu, Robert J. B. Goudie|ArXiv.org|2022. 11. 07.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 임의의 방향성 비순환 그래프(DAG) 구조를 가진 모odu라라이제이션 베이지안 추론에서 피드백 컷팅을 위한 형식적 프레임워크를 제안한다. 관측 가능 변수에 기반한 '자기 포함 베이지안 모듈'을 정의하고, 모듈 추론을 위한 부모-자식 순서를 설정하며, 의심스러운 모듈의 영향을 배제하면서 KL 발산을 최소화하는 컷 분포를 유도한다. 이는 두 모듈에 국한된 컷 추론을 순차적 분할 기법을 통해 일반적인 다중 모듈 사례로 확장한다.

ABSTRACT

Standard Bayesian inference can build models that combine information from various sources, but this inference may not be reliable if components of a model are misspecified. Cut inference, as a particular type of modularized Bayesian inference, is an alternative which splits a model into modules and cuts the feedback from the suspect module. Previous studies have focused on a two-module case, but a more general definition of a "module" remains unclear. We present a formal definition of a "module" and discuss its properties. We formulate methods for identifying modules; determining the order of modules; and building the cut distribution that should be used for cut inference within an arbitrary directed acyclic graph structure. We justify the cut distribution by showing that it not only cuts the feedback but also is the best approximation satisfying this condition to the joint distribution in the Kullback-Leibler divergence. We also extend cut inference for the two-module case to a general multiple-module case via a sequential splitting technique and demonstrate this via illustrative applications.

연구 동기 및 목표

• 두 모듈 사례를 초월해 모듈화된 베이지안 추론에서 '모듈'에 대한 일반적 정의가 부족한 문제를 해결한다.
• 매개변수 대신 관측 가능 랜덤 변수에 기반한 '자기 포함 베이지안 모듈'의 형식적 정의를 제공한다.
• 임의의 DAG에서 모듈 구조를 식별하고, 추론 순서(부모-자식 순서)를 결정하며, 컷 분포를 구성하는 체계적인 방법을 수립한다.
• 순차적 분할 기법을 사용하여 두 모듈 컷 추론을 일반적인 다중 모듈 설정으로 확장한다.
• 의심스러운 모듈의 피드백을 배제하는 조건 하에 Kullback-Leibler 발산 기준으로 참 공동 사후분포에 대한 최적 근사로 컷 분포를 정당화한다.

제안 방법

• 관측 가능 랜덤 변수의 부분집합과 연관된 변수 집합을 '자기 포함 베이지안 모듈'로 정의하며, 이는 표준 베이지안 추론이 가능한 구조를 가진다.
• DAG의 구조를 활용해 모듈 간의 부모-자식 순서를 유도하여 조상에서 자손으로 향하는 추론 흐름을 보장한다.
• 내림표시된 후행 모듈의 피드백을 차단함으로써 공동 분포를 조건부로 설정한 컷 분포를 수립하며, 이는 의심스러운 구성 요소의 영향을 완전히 배제한다.
• 각 모듈을 순차적으로 고립하고 피드백을 컷팅함으로써 두 모듈 컷 추론을 반복적으로 적용함으로써 다중 모듈로의 확장을 위한 순차적 분할 기법을 적용한다.
• 의심스러운 모듈의 피드백이 없음을 보장하는 조건 하에 참 공동 사후분포에 대한 Kullback-Leibler 발산 기준 최적 근사로 컷 분포가 최적임을 증명한다.
• 모델의 잘못된 특정화 하에서도 추정의 신뢰성을 유지하는 방법을 보여주는 예시 적용 사례를 제시한다.

Figure 1: Self-contained Bayesian module. Squares denote observable random variables and circles denote parameters. The dashed part is a minimally self-contained Bayesian module (see Definition 2 ).

실험 결과

연구 질문

• RQ1 두 모듈 사례를 초월해 모듈화된 베이지안 추론에서 '모듈'에 대한 일반적이고 형식적인 정의를 어떻게 설정할 수 있는가?
• RQ2 DAG 구조에서 다수의 모듈 간 추론의 올바른 순서는 무엇으로 결정되는가?
• RQ3 다양한 모듈을 포함한 임의의 DAG에서 컷 분포를 어떻게 시스템적으로 도출할 수 있는가?
• RQ4 KL 발산 기준에서 컷 분포를 최적 근사로 사용하는 데 이론적 근거는 무엇인가?
• RQ5 두 모듈 컷 추론을 원칙적이고 확장 가능한 방식으로 일반적인 다중 모듈 설정으로 어떻게 확장할 수 있는가?

주요 결과

• 논문은 관측 가능 변수에 기반한 '자기 포함 베이지안 모듈'의 형식적 정의를 제시하여 복잡한 모델에서 모듈 식별의 체계적 기반을 제공한다.
• DAG의 구조에서 직접 유도된 부모-자식 순서를 통해 조상에서 자손 모듈로 향하는 체계적인 추론 흐름을 확보한다.
• 의심스러운 모듈의 영향을 배제하면서도 공동 사후분포에 대한 최소 KL 발산 근사로 컷 분포가 수학적으로 정당화된다.
• 순차적 분할 기법을 통해 두 모듈에서 다중 모듈로의 컷 추론 확장을 체계적이고 확장 가능한 방식으로 가능하게 한다.
• 오류 모델 성분을 고립시킴으로써 추론의 강건성을 보장하며, 이로 인해 신뢰할 수 있는 추론에 영향을 주는 오류 성분의 영향을 차단한다.
• 보충 자료의 수치 시뮬레이션 결과, 표준 컷 추론과 달리 피드백 컷팅 시 체계적인 편향을 피하는 것으로 나타났지만, 모델 구조에 따라 여전히 편향이 존재할 수 있음을 확인했다.

Figure 2: Partitioning the observable random variable $X$ . First $X$ is partitioned into two disjoint group $X_{A}^{\ast}$ and $X_{B}^{\ast}$ . Then $X_{A}^{\ast}$ is enlarged to form $\Psi_{A}=(X_{A},\Theta_{A})$ following Rule 1 , and similarly for $X_{B}^{\ast}$ to form $\Psi_{B}=(X_{B},\Theta_{