[논문 리뷰] Diagnostic Tests for Nested Sampling Calculations

Edward Higson, Will Handley외 2명|arXiv (Cornell University)|2018. 04. 16.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 3

한 줄 요약

이 논문은 베이지안 추론에서 복잡한 다모드 또는 고차원 사후 분포의 경우에 특히 유용한 내재된 샘플링의 신뢰성 평가를 위한 진단 테스트와 시각화 도구를 소개한다. 저자들은 MultiNest과 PolyChord의 결과를 검증할 수 있는 Python 패키지인 nestcheck와 함께 두 가지 새로운 진단 플롯을 제안하여 정확한 매개변수 추정과 증거 계산을 보장한다.

ABSTRACT

Nested sampling is an increasingly popular technique for Bayesian computation - in particular for multimodal, degenerate and high-dimensional problems. Without appropriate settings, however, nested sampling software may fail to explore such posteriors fully; for example producing correlated samples or missing significant modes. This paper introduces new diagnostic tests to assess the reliability of both parameter estimation and evidence calculations using nested sampling software, and demonstrates them empirically. We present two new diagnostic plots for nested sampling, and give practical advice for nested sampling software users. Our diagnostic tests and diagrams are implemented in nestcheck: a publicly available python package for analysing nested sampling calculations which is compatible with results from MultiNest and PolyChord.

연구 동기 및 목표

• 나쁜 설정(예: 상관된 표본 또는 무시된 모드 포함)으로 인한 내재된 샘플링 결과의 불신뢰성 위험을 해결하기 위해.
• 매개변수 추정과 베이지안 증거 계산의 신뢰성 평가에 도움이 되는 실용적인 진단 도구 개발을 위해.
• 특히 도전적인 사후 분포 기하학에서 발생하는 내재된 샘플링 소프트웨어 사용자에게 접근 가능하고 실천 가능한 도구를 제공하기 위해.
• 현대 베이지안 계산에서 흔히 발생하는 고차원, 다모드 또는 탈선한 사후 분포에서의 강건성 확보를 위해.

제안 방법

• 내재된 샘플링 체인의 행동을 시각화하고 수렴 문제를 탐지하기 위한 두 가지 새로운 진단 플롯을 도입하기 위해.
• MultiNest과 PolyChord의 출력을 분석할 수 있도록 nestcheck Python 패키지를 개발하여 내재된 샘플링 실행의 사후 검증을 가능하게 하기 위해.
• 사전 변환된 매개변수 공간에서 균일성의 편차를 감지하기 위한 통계적 검정을 사용하여 잠재적 샘플링 실패를 식별하기 위해.
• 다중 내재된 샘플링 실행 간 증거 추정의 일관성 평가를 위한 진단 체크를 적용하기 위해.
• 효율적 표본 크기와 살아있는 점의 분포에 대한 체크를 구현하여 부족 또는 과다 샘플링을 탐지하기 위해.
• 기존 내재된 샘플링 소프트웨어 파이프라인과 호환되는 사용자 友好的 프레임워크에 진단 도구를 통합하기 위해.

실험 결과

연구 질문

• RQ1 다모드 또는 고차원 케이스에서 내재된 샘플링이 전체 사후 분포를 탐색하지 못했을 때 사용자가 이를 어떻게 감지할 수 있는가?
• RQ2 내재된 샘플링에서 증거와 매개변수 추정의 정확성을 신뢰할 수 있게 평가할 수 있는 진단 도구는 무엇인가?
• RQ3 전체 계산을 다시 실행하지 않고도 내재된 샘플링 결과의 신뢰성을 사후에 검증할 수 있는가?
• RQ4 어떤 시각적 및 통계적 지표가 나쁜 혼합, 모드 억압 또는 편향된 증거 추정을 신호로 줄 수 있는가?
• RQ5 MultiNest과 PolyChord와 같은 다양한 내재된 샘플링 구현에 표준화된 진단 프레임워크를 적용할 수 있는가?

주요 결과

• nestcheck의 진단 플롯은 내재된 샘플링이 모든 중요한 사후 모드를 탐색하지 못하는 경우를 성공적으로 식별한다.
• 변환된 매개변수 공간에서의 균일성에 기반한 통계적 체크는 상관된 추출 또는 충분한 살아있는 점의 진화가 이루어지지 않은 등의 샘플링 문제를 감지한다.
• 패키지는 사전 부피 공간에서의 부족 또는 과다 샘플링을 신뢰성 있게 경고하여 증거 계산의 편향 가능성을 시사한다.
• nestcheck는 표준 진단 도구가 실패할 수 있는 고차원 또는 탈선한 사후 분포에서 수렴 문제를 탐지할 수 있다.
• 계산 후 결과를 검증함으로써 사용자가 샘플링 품질에 대한 사전 가정에 의존하는 것을 줄이며 증거와 매개변수 추정에 대한 신뢰도를 향상시킨다.
• 이 진단 도구는 MultiNest과 PolyChord를 포함한 다양한 내재된 샘플링 구현에 효과적으로 적용되어 광범위한 호환성과 유용성을 보장한다.