[논문 리뷰] Valid belief updates for prequentially additive loss functions arising in Semi-Modular Inference

Geoff K. Nicholls, Jeong Eun Lee외 2명|arXiv (Cornell University)|2022. 01. 24.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 반복적 추가성 손실 함수가 일반적으로 Semi-Modular Inference(SMI) 및 컷 모델에서 사용되며, 고전적 게이브스 사후 분포 구성에 의해 타당하고 순서에 일관된 믿음 갱신을 가능하게 함을 입증한다. 이러한 손실 함수는 완전히 추가적이지 않음에도 불구하고 최적이고 일관된 추론을 제공하며, SMI 기반의 믿음 갱신이 이 최적 갱신과 일치함을 보여, 모델가 잘못 지정된 상황에서 모듈러 베이지안 추론에 대한 체계적인 기반을 제공한다.

ABSTRACT

Model-based Bayesian evidence combination leads to models with multiple parameteric modules. In this setting the effects of model misspecification in one of the modules may in some cases be ameliorated by cutting the flow of information from the misspecified module. Semi-Modular Inference (SMI) is a framework allowing partial cuts which modulate but do not completely cut the flow of information between modules. We show that SMI is part of a family of inference procedures which implement partial cuts. It has been shown that additive losses determine an optimal, valid and order-coherent belief update. The losses which arise in Cut models and SMI are not additive. However, like the prequential score function, they have a kind of prequential additivity which we define. We show that prequential additivity is sufficient to determine the optimal valid and order-coherent belief update and that this belief update coincides with the belief update in each of our SMI schemes.

연구 동기 및 목표

• 모델이 잘못 지정된 경우 모듈러 베이지안 추론에서 타당하고 순서에 일관된 믿음 갱신을 위한 이론적 기반을 확립하기 위해.
• SMI 및 컷 모델에서 나타나는 반복적 추가성 손실 함수가 완전히 추가적이지 않음에도 불구하고 최적의 믿음 갱신을 지원함을 보여주기 위해.
• 반복적 추가성에 기반한 일반화된 베이지안 갱신의 공통 프레임워크를 통해 SMI 및 컷 모델 추론을 통합하기 위해.
• η-SMI 및 δ-SMI 기반의 믿음 갱신이 반복적 추가성 손실 함수에서 유도된 최적의 갱신과 정확히 일치함을 보여주기 위해.
• 일부 구성 요소가 잘못 지정된 다중 모듈 모델에서 표준 베이지안 갱신의 대안으로서의 체계적인 접근을 제공하기 위해.

제안 방법

• 저자는 손실 함수가 순차적 또는 모듈러 추론 환경에서 적용 가능한 표준 추가성의 완화된 형태인 '반복적 추가성'을 정의한다.
• 반복적 추가성 손실 함수가 고전적 게이브스 사후 분포 구성에 의해 최적이고 타당하며 순서에 일관된 믿음 갱신을 지원함을 보여준다.
• 이 방법은 가능성이 완전히 추가적이지 않은 경우에도 일관된 믿음 갱신이 가능하도록 일반화된 베이지안 이론을 적용한다.
• 이 프레임워크는 η-SMI 및 δ-SMI에 적용되어, 이들의 사후 분포가 반복적 추가성 기반 최적 갱신과 일치함을 보여준다.
• 이 방법은 파wr 포스트 및 데이터 이웃 영역에 대한 ABC 유사 조건부 적용을 통해 컷 모델과 전체 베이지안 추론 사이를 연결하는 보간 분포를 구성한다.
• 이론적 결과는 PAC-Bayes, 게이브스 사후 및 부트스트랩 사후와 같은 기존 방법과의 연결을 통해 뒷받침된다.

실험 결과

연구 질문

• RQ1 손실 함수가 완전히 추가적이지 않은 경우, 반복적 추가성 손실 함수를 사용하는 반모듈러 및 컷 모델의 믿음 갱신이 타당하고 일관된 것으로 간주될 수 있는가?
• RQ2 모듈러 추론에서 최적이고 타당하며 순서에 일관된 믿음 갱신을 보장하는 손실 함수의 성질은 무엇인가?
• RQ3 일반화된 베이지안 갱신을 지원하는 데 있어 반복적 추가성은 표준 추가성과 어떻게 비교되는가?
• RQ4 η-SMI 및 δ-SMI 기반의 믿음 갱신이 반복적 추가성 손실 함수에서 유도된 최적 갱신과 일치하는가?
• RQ5 이 프레임워크는 부트스트랩 또는 백싱된 사후 분포를 표준 가능성 대체로 확장할 수 있는가?

주요 결과

• 반복적 추가성 손실 함수는 손실 함수가 완전히 추가적이지 않더라도 최적이고 타당하며 순서에 일관된 믿음 갱신을 보장하는 데에 충분하다.
• η-SMI 및 δ-SMI 기반의 믿음 갱신은 반복적 추가성 손실 함수에서 유도된 최적 갱신과 수학적으로 동일하다.
• δ-SMI 프레임워크는 데이터 이웃 영역 크기 δ를 통해 잘못 지정된 상황을 자연스럽게 해석하며, 이는 데이터 변동성과 명확한 척도를 가진다.
• δ-SMI 사후 분포는 제품 공간 이웃 영역 내 데이터에 조건부를 걸어 조건부하는 ABC 사후의 일종이며, δ → 0일 때 표준 베이지안 추론으로 복원된다.
• 이 방법은 Posterior Bootstrap 또는 Bagged 사후로 확장되었을 때 부트스트랩 사후에서 유래한 양호한 빈도적 커버리지 성질을 계승한다.
• 이 프레임워크는 특히 매개변수 추정이 목표일 경우, 일부 구성 요소가 잘못 지정된 다중 모듈 모델에서 표준 베이지안 갱신의 체계적인 대안을 제공한다.