[논문 리뷰] Introducing prior information in Weighted Likelihood Bootstrap with applications to model misspecification

Emilia Pompe|arXiv (Cornell University)|2021. 03. 26.

Bayesian Modeling and Causal Inference참고 문헌 56인용 수 6

한 줄 요약

이 논문은 모형 오특정 상황에서의 강건성 향상을 위해 사전 정보를 통합하는 새로운 확장인 사후 부트스트랩(Posterior Bootstrap)을 제안한다. 가중 최대우도 부트스트랩(Weighted Likelihood Bootstrap)의 확장으로, 페널티 최적화 또는 사전 예측 분포에서 유도된 가짜 샘플( pseudo-samples)을 사용함으로써, 빈도주의적 성질을 유지하면서도 계층 모형을 포함한 상황에서도 체계적인 베이지안 추론이 가능하다. 이는 에드워드스 전개(Edgeworth expansions)를 통한 이론적 지원과 모형 오특정에 대한 민감도 감소를 보여주는 실증적 검증을 통해 뒷받처진다.

ABSTRACT

We propose Posterior Bootstrap, a set of algorithms extending Weighted Likelihood Bootstrap, to properly incorporate prior information and address the problem of model misspecification in Bayesian inference. We consider two approaches to incorporating prior knowledge: the first is based on penalization of the Weighted Likelihood Bootstrap objective function, and the second uses pseudo-samples from the prior predictive distribution. We also propose methodology for hierarchical models, which was not previously known for methods based on Weighted Likelihood Bootstrap. Edgeworth expansions guide the development of our methodology and allow us to provide greater insight on properties of Weighted Likelihood Bootstrap than were previously known. Our experiments confirm the theoretical results and show a reduction in the impact of model misspecification against Bayesian inference in the misspecified setting.

연구 동기 및 목표

• 모형 오특정 상황에서, 즉 가정된 모형이 진짜 데이터 생성 과정을 완전히 반영하지 못할 때의 베이지안 추론의 과제를 해결하기 위해.
• 이전에 이 클래스의 방법들에서 누락되었던 사전 정보를 적절히 통합할 수 있도록 가중 최대우도 부트스트랩 프레임워크를 확장하기 위해.
• 이전에 가중 최대우도 부트스트랩 기반 접근에서 다루지 못했던 계층 모형을 위한 강건한 추론 체계를 개발하기 위해.
• 에드워드스 전개를 사용하여 방법의 이론적 근거를 제공함으로써, 사전 믿음이 표준 베이지안 추론과 유사하게 표현됨을 보장하기 위해.
• 제안된 방법이 표준 베이지안 추론에 비해 유한 표본에서 모형 오특정의 영향을 줄이는지 실증적으로 입증하기 위해.

제안 방법

• 사전 정보를 통합하기 위한 두 가지 접근 방식을 제안한다: 사전 항목을 포함한 가중 로그우도 목적 함수에 페널티를 적용하고, 사전 예측 분포에서 가짜 샘플을 생성하는 것이다.
• 에드워드스 전개를 사용하여 초모수 선택을 안내하고, 오특정 하에서 방법의 점근적 행동을 검증한다.
• 부트스트랩 샘플링 과정에서 발생하는 근사 오차를 수정하기 위해 순차적 중요도 재표본화 알고리즘을 적용한다.
• 가중 최대우도 최적화를 통해 그룹 수준의 매개변수와 개인 수준의 매개변수를 동시에 추정함으로써, 계층 모형에 대해 확장 가능하고 병렬 처리가 가능한 알고리즘을 개발한다.
• 두 단계 샘플링 과정을 사용한다: 먼저 가짜 샘플에 대한 가중 최대우도를 통해 초모수를 추정하고, 그 다음 재스케일링된 가중치를 사용하여 사후 샘플을 추출한다.
• 디리클레 prior의 농도 매개변수 $ c $ 를 사용하여 가짜 샘플의 정보성 수준을 조절하며, $ c $ 는 실증적 校정 또는 이론적 지침에 따라 설정된다.

실험 결과

연구 질문

• RQ1 가중 최대우도 부트스트랩 프레임워크에 사전 정보를 효과적으로 통합할 수 있는가? 이는 모형 오특정 상황에서의 강건성 향상에 기여하는가?
• RQ2 페널티와 가짜 샘플링이라는 서로 다른 사전 정보 통합 방법이, 결과 추론의 빈도주의적 성질에 어떤 영향을 미치는가?
• RQ3 사후 부트스트랩 방법은 이전에 가중 최대우도 부트스트랩에 대해 확장이 불가능했던 계층 모형으로까지 확장될 수 있는가?
• RQ4 에드워드스 전개가 모형 오특정 하에서 가중 최대우도 부트스트랩의 행동에 대해 얼마나 깊이 있는 통찰을 제공하는가?
• RQ5 제안된 방법은 표준 베이지안 추론에 비해 유한 표본에서 모형 오특정의 영향을 줄이는가?

주요 결과

• 사후 부트스트랩은 가중 최대우도 부트스트랩에 사전 정보를 성공적으로 통합하여, 사전 믿음이 표준 베이지안 추론과 유사한 방식으로 표현됨을 보장한다.
• 모형 오특정 하에서 진짜 사후 분포와의 빅차리야 바이어션(Bhattacharyya distance)이 낮아짐으로써, 모형 오특정의 영향이 감소함을 확인하였다.
• 모형이 잘 지정된 설정에서는 사후 부트스트랩이 표준 베이지안 추론과 거의 동일한 사후 분포를 생성하여 일致성(consistency)을 확인하였다.
• 계층 모형에서는 안정적이고 정확한 사후 추정치를 도출하였으며, $ ilde{ heta} $ 와 $ ilde{ heta}_{k} $ 의 커널 밀도 추정치가 전체 베이지안 추론 결과와 밀접하게 일치하였다.
• 교정된 $ c $ 를 사용한 가짜 샘플 사용은 고정된 $ c $ 를 사용하는 것보다 더 나은 유한 표본 성능을 보였으며, 특히 모형 오특정 상황에서 두드러졌다.
• 실증 결과로, $ ilde{ heta} $ 는 $ ar{ heta} $ 와는 달리 유한 표본에서 더 우수한 성능을 보였으며, 이는 제안된 알고리즘의 더 나은 유한 표본 성질을 시사한다.