[논문 리뷰] Flexible Prior Elicitation via the Prior Predictive Distribution

Marcelo Hartmann, Georgi Agiashvili외 2명|arXiv (Cornell University)|2020. 02. 23.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 9

한 줄 요약

이 논문은 베이지안 모델링에서 전문가 입력을 관측 가능한 결과로 전환함으로써 비관측 모수에서 관측 가능한 결과로 전문가 지식을 이끌어내는 유연한 프레임워크를 제안한다. 사전 예측 분포를 활용하고 최적화 기법(기울기 기반 및 기울기 자유 방법 포함)을 적용함으로써, 전문가가 가능한 데이터 값에 대해 제시한 판단을 모수에 대한 일관된 다변량 사전분포로 변환함으로써, 복잡한 모델에서 더 직관적이고 정확한 사전분포 설정이 가능해진다.

ABSTRACT

The prior distribution for the unknown model parameters plays a crucial role in the process of statistical inference based on Bayesian methods. However, specifying suitable priors is often difficult even when detailed prior knowledge is available in principle. The challenge is to express quantitative information in the form of a probability distribution. Prior elicitation addresses this question by extracting subjective information from an expert and transforming it into a valid prior. Most existing methods, however, require information to be provided on the unobservable parameters, whose effect on the data generating process is often complicated and hard to understand. We propose an alternative approach that only requires knowledge about the observable outcomes - knowledge which is often much easier for experts to provide. Building upon a principled statistical framework, our approach utilizes the prior predictive distribution implied by the model to automatically transform experts judgements about plausible outcome values to suitable priors on the parameters. We also provide computational strategies to perform inference and guidelines to facilitate practical use.

연구 동기 및 목표

• 전문가가 비관측 모수에 익숙하지 않을 경우, 일관된 사전분포를 설정하는 데 도전하는 문제를 해결하기 위해.
• 사전 분포 추출을 모수 공간에서 전문가가 더 강한 도메인 직관을 가진 관측 가능한 데이터 공간으로 이동시키기 위해.
• 전문가가 사전 예측 분포에 대해 제시한 판단을 활용하여 단변량 및 다변량 사전분포를 모두 추출할 수 있는 일반적이고 계산적으로 실현 가능한 방법을 개발하기 위해.
• 이를 실질적인 베이지안 워크플로우에 통합하여 계층 모델 및 일반화선형모형을 지원하기 위해.
• 실제 사례를 통해 접근법을 검증하고, 인간 성장 모델을 포함한 사례에서 전문가의 믿음과의 일치도 향상됨을 보여주기 위해.

제안 방법

• 이 방법은 전문가 지식을 추출하는 기초로 사전 예측 분포를 사용하여, 전문가가 추상적인 모수보다는 가능한 관측 가능한 결과에 대해 믿음을 표현할 수 있도록 한다.
• 사전 분포 추출 문제를 전문가가 제시한 사전 예측 분포 상의 확률와 가장 잘 일치하는 초모수를 찾는 최적화 문제로 공식화한다.
• 사슬법칙과 조건부 기대값에서 유도된 분석적 기울기를 사용하는 기울기 기반 최적화를 적용하여 효율적인 추론을 가능하게 한다.
• 기울기가 계산이 어려운 모델의 경우, 베이지안 최적화, 넬더-미드 방법 등 기울기 자유 최적화 기법을 지원하여 초모수를 추정한다.
• 전문가 판단의 불확실성을 모델링하기 위해 매개변수 α를 도입하여, 추정된 확률에 대한 신뢰도를 민감하게 조정할 수 있도록 한다.
• 계층적 구조와 조건부 분포를 활용하여 종속성을 모델링함으로써, 단변량 및 다변량 사전분포 추출을 모두 지원한다.

실험 결과

연구 질문

• RQ1 전문가의 입력을 모수에서 관측 가능한 데이터 결과로 전환함으로써, 사전 분포 추출을 더 직관적이고 정확하게 만들 수 있는가?
• RQ2 사전 예측 판단에서의 전문가 불확실성을 공식적으로 모델링하고 사전분포 설정 과정에 통합할 수 있는가?
• RQ3 복잡한 베이지안 모델에서 다변량 사전분포를 효율적이고 확장 가능하게 추출하는 데 필요한 계산 전략은 무엇인가?
• RQ4 사전 예측 분포를 사용할 경우, 전문가의 믿음과 도출된 사전분포 간의 일치도가 어느 정도 향상되는가?
• RQ5 이 방법은 확률 프로그래밍 언어를 사용하는 기존의 베이지안 모델링 워크플로우에 어떻게 실질적으로 통합될 수 있는가?

주요 결과

• 사전 예측 분포를 활용함으로써, 고차원 설정에서도 전문가가 관측 가능한 데이터에 대해 제시한 판단을 일관된 다변량 사전분포로 성공적으로 변환하였다.
• 사람 성장 모델 사례 연구에서 전문가들이 추상적인 모수보다는 관측 가능한 결과에 대해 믿음을 표현하는 것이 더 쉽다는 것이 입증되었다.
• 이 방법은 단변량 및 다변량 사전분포 추출을 모두 지원하며, 조건부 종속성의 구조적 모델링을 통해 중간 정도의 차원에서의 다변량 사전분포 추출이 가능하다.
• 기울기 기반 최적화는 기울기 자유 대안에 비해 수많은 초모수를 가진 모델에서 계산 효율성이 크게 향상된다.
• 신뢰도 매개변수 α의 포함으로 전문가 판단의 불확실성을 모델링할 수 있어, 유의미하고 더 견고한 사전분포 추정이 가능해졌다.
• 이 방법은 brms와 같은 기존의 베이지안 모델링 도구와 호환되어 실제 응용에 실질적인 구현이 가능하다.