[논문 리뷰] Marginal likelihood computation for model selection and hypothesis testing: an extensive review

Fernando Llorente, Luca Martino외 2명|arXiv (Cornell University)|2020. 05. 17.

Bayesian Methods and Mixture Models참고 문헌 95인용 수 6

한 줄 요약

이 논문은 베이지안 모델 선택 및 가설 검정에서 경계 우도를 추정하기 위한 계산 방법에 대한 종합적이고 최신의 리뷰를 제공한다. 중요도 샘플링, 브릿지 샘플링, 경로 샘플링, 내재 샘플링, 계층적 적응형 중요도 샘플링 등의 기법을 체계적으로 비교하며, 각 기법의 강점, 한계, 상호 관계를 분석하고, 안정성, 편향 없는 추정, MCMC 출력을 활용한 실용적 구현에 중점을 둔다.

ABSTRACT

This is an up-to-date introduction to, and overview of, marginal likelihood computation for model selection and hypothesis testing. Computing normalizing constants of probability models (or ratio of constants) is a fundamental issue in many applications in statistics, applied mathematics, signal processing and machine learning. This article provides a comprehensive study of the state-of-the-art of the topic. We highlight limitations, benefits, connections and differences among the different techniques. Problems and possible solutions with the use of improper priors are also described. Some of the most relevant methodologies are compared through theoretical comparisons and numerical experiments.

연구 동기 및 목표

• 모델 선택 및 가설 검정에서 경계 우도(베이지안 증거)를 계산하는 최신 기법들에 대한 통합적이고 최신의 개요를 제공하는 것.
• 중요도 샘플링, MCMC, 온도 조절 기반 기법 등 다양한 계산 기법 간의 관계, 차이점, 상대적 성능을 명확히 하는 것.
• 불완전한 사전분포의 사용과 그 경계 우도 추정에 미치는 영향과 같은 핵심 문제를 다루는 것.
• 이론적 분석과 수치 실험을 통해 기법들을 평가하고 비교하며, 안정성, 효율성, 편향 없는 성질에 중점을 두는 것.
• 특히 MCMC 출력 후처리 시 사용할 수 있는 경계 우도 추정기의 선택 및 구현에 실용적인 지침을 제공하는 것.

제안 방법

• 경계 우도 추정 기법을 네 가지 주요 유형으로 분류한다: 결정적 근사, 중요도 샘플링(IS), IS 내부에 MCMC를 통합한 기법, 온도 조절된 사후분포 기반 기법.
• 라플라스 근사, BIC, 커널 밀도 추정(KDE), 치비의 방법, 브릿지 샘플링 등을 포함한 다양한 방법론을 동일한 기호 체계로 통합적으로 검토한다.
• 후행 분포를 사용해 적응형 제안 분포를 구축하는 MCMC와 IS를 결합한 고급 하이브리드 기법인 계층적 적응형 중요도 샘플링(LAIS)과 같은 기법을 분석한다.
• 경로 샘플링(PS), 스텝스톤 샘플링(SS), 안내된 중요도 샘플링(An-IS)을 분석하며, 이 기법들은 온도 조절된 사후분포의 순서를 사용해 경계 우도를 추정하는 방식임을 설명한다.
• 순차적 몬테카를로(SMC) 및 내재 샘플링을 논의하며, 이 기법들이 가능성을 암묵적으로 최적화하지만, 절단된 사전분포에서의 샘플링 과제에 주목한다.
• SS, An-IS, SMC, LAIS와 같은 기법들이 경계 우도 또는 그 로그에 대해 편향 없는 추정기를 제공함을 강조하며, 이는 신뢰할 수 있는 추론에 중요한 이론적 이점을 제공한다.

실험 결과

연구 질문

• RQ1 정확도, 안정성, 계산 효율성 간의 균형을 가장 잘 충족하는 경계 우도 추정을 위한 계산 기법은 무엇인가?
• RQ2 예를 들어 브릿지 샘플링, RIS, LAIS와 같은 중요도 샘플링 기반 기법들은 제안 분포 선택에 대한 분산과 안정성 측면에서 어떻게 비교되는가?
• RQ3 불완전한 사전분포를 사용할 경우 경계 우도 계산에 미치는 이론적·실용적 영향은 무엇이며, 이러한 문제는 어떻게 완화할 수 있는가?
• RQ4 온도 조절된 사후분포 기반 기법들(예: SS, PS, An-IS)은 성능과 온도 경로 설계에 대한 민감도 측면에서 어떻게 비교되는가?
• RQ5 어떤 상황에서 내재 샘플링 또는 IS 내부에 MCMC를 통합한 기법이 더 적합한가? 이 기법들은 직접적인 IS나 KDE 기반 접근법과 비교해 어떻게 다른가?

주요 결과

• 스텝스톤(SS) 방법은 경로 샘플링(PS)이나 파wr 포스트리어리어(PP)보다 온도 경로 선택에 더 강건하며, 다수의 온도 조절된 사후분포가 필요로 하지 않는다.
• 계층적 적응형 중요도 샘플링(LAIS)은 후행분포 국소화(HM)와 표준 IS의 장점을 결합하여, 단순한 IS나 HM 추정기보다 더 뛰어난 안정성과 효율성을 제공한다.
• 브릿지 샘플링과 RIS는 MCMC 출력 외부의 추가 샘플이 필요하지만, 흔히 매우 불안정한 것으로 알려진 HM 추정기보다 더 안정적인 추정을 제공한다.
• SS, An-IS, SMC, LAIS와 같은 기법들은 경계 우도 또는 그 로그에 대해 편향 없는 추정기를 제공하며, 이는 중요한 이론적 이점이다.
• 치비의 방법과 MTM(Metropolis-Hastings with multiple proposals)는 MCMC 출력에 적용될 수 있지만, 구현이 신중하게 이루어져야 하며, 제안 분포가 독립적이지 않다면 안정성이 떨어질 수 있다.
• HM 추정기는 매우 불안정하며, NMC(단순 몬테카를로)는 사전분포 기반 샘플링으로 인해 효율성이 떨어진다. LAIS와 SS는 효율성과 안정성 측면에서 더 나은 성능을 보이며 중간 지점에 해당한다.