[논문 리뷰] Prior knowledge elicitation: The past, present, and future

Petrus Mikkola, Osvaldo A. Martin외 10명|arXiv (Cornell University)|2021. 12. 01.

Bayesian Modeling and Causal Inference인용 수 16

한 줄 요약

이 논문은 베이지안 워크플로우의 일상적이고 효율적이며 통합적인 구성 요소로 사전 추정을 전환하기 위한 종합적인 연구 의제를 제안한다. 모델에 종속되지 않는 모듈러한 소프트웨어 도구, 능동적인 추정 전략, 그리고 전문 지식 통합을 단순화하는 계층적 사전 분포를 지지하며, 최종적으로는 일시적인 사전 분포에 대한 의존도를 줄이고 과학 및 산업 분야에서의 도입을 가속화하고자 한다.

ABSTRACT

Specification of the prior distribution for a Bayesian model is a central part of the Bayesian workflow for data analysis, but it is often difficult even for statistical experts. In principle, prior elicitation transforms domain knowledge of various kinds into well-defined prior distributions, and offers a solution to the prior specification problem. In practice, however, we are still fairly far from having usable prior elicitation tools that could significantly influence the way we build probabilistic models in academia and industry. We lack elicitation methods that integrate well into the Bayesian workflow and perform elicitation efficiently in terms of costs of time and effort. We even lack a comprehensive theoretical framework for understanding different facets of the prior elicitation problem. Why are we not widely using prior elicitation? We analyse the state of the art by identifying a range of key aspects of prior knowledge elicitation, from properties of the modelling task and the nature of the priors to the form of interaction with the expert. The existing prior elicitation literature is reviewed and categorized in these terms. This allows recognizing under-studied directions in prior elicitation research, finally leading to a proposal of several new avenues to improve prior elicitation methodology.

연구 동기 및 목표

• 수십 년에 걸친 연구에도 불구하고 실생활에서의 사전 추정 도입이 제한된 점을 해결하기 위해 방법론과 도구 부문의 핵심 격차를 규명한다.
• 현재의 일시적인 사전 분포 설정에 의존하는 상황을 해결하기 위해, 베이지안 워크플로우에 통합되는 실용적이고 사용자 友好的 도구를 개발한다.
• 모델에 종속되지 않는 설계, 능동 학습 전략, 모듈러한 소프트웨어 아키텍처를 통해 사전 추정의 효율성과 사용성을 향상시킨다.
• 복잡하고 사회적 영향을 미치는 응용 분야에서 사전 추정의 가치를 명확히 보여주는 고영향도의 실생활 사례를 제공함으로써 보급을 촉진한다.
• 새로운 추정 방법을 비교하고 검증할 수 있는 평가 프레임워크를 구축하여 합리적인 비용과 명확한 성능 지표를 확보한다.

제안 방법

• 사전 추정의 공간, 모델에 종속되지 않는 성격, 평가 과업 등의 차원을 기반으로 사전 추정을系통적으로 분류할 수 있는 연구 초입 프레임워크를 제안한다.
• 기존 오픈소스 라이브러리인 ArviZ, ggdist, Bayesplot을 기반으로 소프트웨어의 모듈러성을 강조하여 상호 운용성 확보 및 중복 방지를 도모한다.
• 모델에 종속되지 않는 추정(D2)을 우선시하여 다양한 확률 모델 간 재사용이 가능하게 하고, 모델이 진화할 때 재추정 비용을 줄인다.
• 전문가의 노력은 최소화하면서 정보 수확을 극대화하는 능동적 추정 전략을 통합하여 반복적인 모델 구축 워크플로우와 조화를 이룬다.
• 다변량 사전 분포보다 더 쉽게 추정할 수 있는 계층적 사전 분포 구조를 설계하여 도메인 전문가의 인지 부담을 줄인다.
• 다양한 모델링 시나리오에서 추정 방법을 평가하기 위한 공동 테스트베드를 개발하여 체계적인 비교 및 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 추정이 일상적인 베이지안 모델링 워크플로우에 통합되지 못하는 데에 기여하는 주요 장애 요인은 무엇인가?
• RQ2 어떻게 하면 다양한 확률 모델과 영역에서 재사용 가능한 모델에 종속되지 않는 사전 추정 방법을 만들 수 있는가?
• RQ3 어떤 추정 전략(예: 능동적, 순차적)이 전문가의 노력은 최소화하면서도 정보 수확과 모델 정확도를 극대화하는가?
• RQ4 어떤 소프트웨어 아키텍처와 모듈러리티 원칙이 새로운 추정 알고리즘의 신속한 프로토타이핑, 평가, 구현을 가능하게 하는가?
• RQ5 강력한 영향력을 미치며 실생활에서의 가치를 명확히 보여주는 사용 사례를 어떻게 설계할 수 있는가? 이는 복원성 향상, 비용 절감, 또는 모델 성능 향상 측면에서의 명확한 이점을 포함한다.

주요 결과

• 수십 년에 걸친 연구에도 불구하고 사전 추정은 실생활에서 여전히 활용도가 낮은 편이며, 주로 통합되고 사용자 친화적인 도구와 방법론 프레임워크의 부족 때문이다.
• SHELF 및 makemyprior와 같은 기존 도구의 보급도가 제한되어 있음을 고려할 때, 더 넓은 소프트웨어 통합과 사용성 향상의 필요성이 명백하다.
• 모델에 종속되지 않고 모듈러한 소프트웨어 설계는 재사용 가능성을 보장하고 개발 비용을 줄이며, 추정 방법 분야의 혁신을 가속화하는 데 필수적이다.
• 전문가의 노력은 최소화하면서도 정보 수확을 극대화하는 능동적 추정 전략은 반복적 모델링 워크플로우에서의 도입에 있어 핵심 요소이다.
• 다양한 적용 분야에서 추정 방법을 비교 및 검증할 수 있는 공동 테스트베드 개발은 방법 비교 및 검증의 수준을 크게 향상시킬 수 있다.
• 비용 절감이나 복원성 향상 등의 명확한 이점을 보여주는 고영향도의 실생활 사례는 사전 추정 연구에 대한 보다 넓은 관심과 자금 지원을 이끌어낼 수 있다.