[논문 리뷰] Nested Sampling And Likelihood Plateaus

Doris Schittenhelm, Philipp Wacker|arXiv (Cornell University)|2020. 05. 18.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 4

한 줄 요약

이 논문은 우도 함수에 비중간한 평탄한 부분(우도가 양의 사전 측도를 가진 영역에서 일정한 영역)이 존재하는 경우에도 베이지안 증거를 계산하기 위한 내재된 샘플링의 엄밀한 정당성을 제시한다. 기존의 내재된 샘플링은 단위 구간에서 균일한 샘플링을 가정하지만, 저자들은 이러한 가정이 평탄한 부분에서 위반되더라도 적분 변환이 여전히 유효하다는 것을 증명하고, 이러한 경우의 성능을 향상시키기 위한 수정된 알고리즘을 제안한다.

ABSTRACT

The main idea of nested sampling is to substitute the high-dimensional likelihood integral over the parameter space $Ω$ by an integral over the unit line $[0,1]$ by employing a push-forward with respect to a suitable transformation. For this substitution, it is often implicitly or explicitly assumed that samples from the prior are uniformly distributed along this unit line after having been mapped by this transformation. We show that this assumption is wrong, especially in the case of a likelihood function with plateaus. Nevertheless, we show that the substitution enacted by nested sampling works because of more interesting reasons which we lay out. Although this means that analytically, nested sampling can deal with plateaus in the likelihood function, the actual performance of the algorithm suffers under such a setting and the method fails to approximate the evidence, mean and variance appropriately. We suggest a robust implementation of nested sampling by a simple decomposition idea which demonstrably overcomes this issue.

연구 동기 및 목표

• 우도 함수에 비중간한 평탄부가 존재할 경우 내재된 샘플링의 이론적 타당성을 다루는 것.
• 내재된 샘플링에서 사전 샘플이 변환 후 [0,1]에서 균일하게 분포되어 있다는 암묵적 가정을 도전하는 것.
• 원래의 가정을 초월하여 특히 생존 함수의 불연속성이 존재하는 경우에도 내재된 샘플링의 엄밀한 수학적 기반을 제공하는 것.
• 평탄한 우도 상황에서의 실용적 성능을 향상시키기 위해 수정된 알고리즘적 접근을 제안하는 것.

제안 방법

• 저자들은 내재된 샘플링에 의해 유도되는 후행 측도를 분석하고, 우도가 평탄한 경우에도 적분 변환이 여전히 유효하다는 것을 보여준다.
• 우도가 양의 사전 측도를 가진 집합에서 일정한 점들을 문제점으로 정의하며, 후행 측도 하에서 μ(P) = 0 인 집합 P 를 형성한다.
• 측도 이론적 도구를 사용하여, 평탄부에 해당하는 구간의 합집합이 후행 우도 측도 하에서 총 측도가 0 임을 증명한다.
• 실수선 ℝ 내의 열린 집합의 성질을 통해, 평탄한 우도 값에 관련된 불가측한 구간의 합집합이 가산적인 서로소 구간의 합집합으로 줄어듦을 확립한다.
• 이러한 영역에서의 샘플링 전략을 조정함으로써 평탄한 우도를 더 잘 다루는 수정된 내재된 샘플링 알고리즘을 제안한다.
• 이론적 정당성은 측도의 아래에서 연속성과 실수선 상의 구간 구조(특히 반개방 및 개방 구간)에 기반한다.

실험 결과

연구 질문

• RQ1 우도 함수가 사전 측도가 비영인 평탄부를 가질 경우 표준 내재된 샘플링 적분 변환이 유효한가?
• RQ2 우도가 평탄부를 가질 경우 [0,1] 구간에서의 균일한 샘플링이라는 암묵적 가정이 유지되는가?
• RQ3 생존 함수의 불연속성 존재 시 내재된 샘플링의 후행 측도가 여전히 올바른 증거 적분을 도출하는가?
• RQ4 어떤 내재된 샘플링의 수정이 우도 평탄부 존재 시 성능 향상에 기여하는가?

주요 결과

• 표준 내재된 샘플링 변환이 우도에 비중간한 평탄부가 존재하더라도 수학적으로 유효하다. 이는 균일 샘플링 가정 위반에도 불구하고 성립한다.
• 후행 측도 하에서 평탄한 우도 값을 가진 점들의 집합은 사전 측도가 0 이며, 이는 적분 대체가 여전히 정확함을 보장한다.
• 평탄한 우도 값에 해당하는 구간의 합집합은 총 측도가 유지되는 가산적인 서로소 구간의 합집합으로 줄일 수 있다.
• 평탄부 구간에 대한 우도의 후행 측도는 총 측도가 0 이며, 이는 변환이 정확함을 정당화한다.
• 평탄한 우도 상황에서의 성능을 향상시키기 위해 샘플링 동역학을 조정하는 수정된 내재된 샘플링 알고리즘이 제안된다.
• 내재된 샘플링의 이론적 기반은 우도 함수의 생존 함수가 불연속적인 경우에도 확장되어, 적용 범위를 넓힌다.