[논문 리뷰] Kullback-Leibler Divergence for Bayesian Nonparametric Model Checking

Luai Al‐Labadi, Viskakh Patel외 2명|arXiv (Cornell University)|2019. 03. 02.

Bayesian Methods and Mixture Models참고 문헌 32인용 수 4

한 줄 요약

이 논문은 디리클레 과정을 사용할 때 Kullback-Leibler (KL) 발산을 사용하는 데 오랫동안 지속된 문제를 해결하기 위해 상대적 신념 비율을 활용하여 파rametric 모형에 대한 증거를 평가하는 새로운 베이지안 비모수적 모형 검증 방법을 제안한다. 이 방법은 사전분포와 사후분포 하에서 KL 발산의 농도를 비교함으로써, 모형 매개변수에 대한 사전분포나 닫힌 형태의 표현식이 필요 없이 효과적인 모형 검증을 가능하게 하며, 다양한 자료 유형과 분포에서 뛰어난 성능을 보인다.

ABSTRACT

Bayesian nonparametric statistics is an area of considerable research interest. While recently there has been an extensive concentration in developing Bayesian nonparametric procedures for model checking, the use of the Dirichlet process, in its simplest form, along with the Kullback-Leibler divergence is still an open problem. This is mainly attributed to the discreteness property of the Dirichlet process and that the Kullback-Leibler divergence between any discrete distribution and any continuous distribution is infinity. The approach proposed in this paper, which is based on incorporating the Dirichlet process, the Kullback-Leibler divergence and the relative belief ratio, is considered the first concrete solution to this issue. Applying the approach is simple and does not require obtaining a closed form of the relative belief ratio. A Monte Carlo study and real data examples show that the developed approach exhibits excellent performance.

연구 동기 및 목표

• 디리클레 과정이 이산 측도를 생성할 때 Kullback-Leibler 발산을 베이지안 비모수적 모형 검증에 적용하는 데 있어 근본적인 과제를 해결하기 위해.
• 모형 매개변수에 대한 사전분포가 필요로 하지 않는 실용적이고 구현 가능한 방법을 개발하여, 이산 및 연속 분포 간의 KL 발산에서 발생하는 무한대 문제를 해결하기 위해.
• 모형 매개변수에 대한 사전분포가 필요로 하지 않고도 상대적 신념 비율을 사용하여 파라미터 모형에 대한 통계적 증거를 직접 측정하기 위해.
• 몬테카를로 시뮬레이션과 다양한 분포(정규분포, 구불분포, 무거운 尾분포 등)의 실제 자료 예제를 통해 이 방법의 강건성과 정확성을 입증하기 위해.
• 복잡한 사전분포나 닫힌 형태의 해법에 의존하지 않는 일반 목적의 사용자 友好的 모형 검증 접근법을 제공하기 위해.

제안 방법

• 진정한 기저 분포에 대한 비정보성 사전분포로 디리클레 과정을 사용하여 민감도가 높고 비모수적 모델링이 가능한 유연한 모델링을 허용한다.
• 진정한 분포와 가설적인 파라미터 모형 간의 Kullback-Leibler 발산을 발산 측도로 사용한다.
• 사전분포와 사후분포 하에서 KL 발산의 농도를 비교하여 모형에 대한 증거를 평가한다.
• 상대적 신념 비율(RB)을 사용하여 데이터에서 모형에 대한 증거의 강도를 정량화하며, RB > 1은 모형을 지지하는 증거를 의미한다.
• 해석적 표현식이 필요로 하지 않고 몬테카를로 샘플링을 사용하여 KL 발산의 사후분포를 추정하고 상대적 신념 비율을 계산한다.
• 캘리브레이션된 척도를 사용하여 증거의 강도를 측정하며, 값이 1에 가까울수록 강력한 증거를, 0에 가까울수록 모형에 반대되는 강력한 증거를 의미한다.

실험 결과

연구 질문

• RQ1 디리클레 과정이 이산 측도를 유도할 때, Kullback-Leibler 발산을 베이지안 비모수적 모형 검증에 효과적으로 사용할 수 있는가?
• RQ2 이산 및 연속 분포 간의 KL 발산에서 발생하는 무한대 문제를 원칙적인 베이지안 프레임워크 내에서 어떻게 해결할 수 있는가?
• RQ3 모형 매개변수에 대한 사전분포가 필요로 하지 않고도 상대적 신념 비율이 파라미터 모형에 대한 신뢰할 수 있고 해석 가능한 증거 측도를 제공할 수 있는가?
• RQ4 제안된 방법은 정규분포, 구불분포, t분포, 코시분포 등 다양한 자료 유형에서 높은 성능을 유지하는가?
• RQ5 이전 연구에서 비정규성을 제기한 바 있는 Kevlar 압력용기 수명 데이터와 같이 실제 세계 자료에서 모형의 부적합성을 탐지할 수 있는가?

주요 결과

• 진정한 분포가 표준정규분포 N(0,1)일 경우, a=1일 때 상대적 신념 비율(RB)은 20이며, a=5일 때도 여전히 높은 수준(13.2)을 유지하여 모형을 지지하는 강력한 증거를 보여준다.
• 평균 10, 분산 1인 정규분포일 경우, a=1일 때 RB는 여전히 높은 수준(20)을 유지하여 위치 이동 하에서도 방법의 강건성을 확인한다.
• 진정한 분포가 두 정규분포의 혼합분포(0.5N(-2,1) + 0.5N(2,1))일 경우, a=1일 때 RB는 0.3878로 감소하고 a≥5일 때는 0으로 떨어지며, 모형 부적합성을 정확히 반영한다.
• 자유도 0.5인 t분포와 같은 무거운 꼬리 분포일 경우, 모든 a≥1 값에서 RB는 0으로 나타나 정규모형을 정확히 기각한다.
• 구불모형 예제에서는 a의 값에 관계없이 RB가 높게 유지되며(예: a=1일 때 20), 강도는 모든 a 값에서 1로 유지되어 구불모형을 지지하는 강력한 증거를 제공한다.
• Kevlar 압력용기 데이터의 경우, RB는 1 이하로 떨어지며(a=5일 때 1.81), 강도는 0.7009로 감소하여 정규성에 반대되는 증거를 정확히 반영한다. 특히 더 농도가 높은 사전분포에서 더욱 두드러진다.