[논문 리뷰] Some models are useful, but how do we know which ones? Towards a unified Bayesian model taxonomy

Paul‐Christian Bürkner, Maximilian Scholz외 1명|arXiv (Cornell University)|2022. 09. 06.

Bayesian Modeling and Causal Inference인용 수 8

한 줄 요약

이 논문은 베이지안 모델이 무엇을 포함하는지 명확히 하기 위해 연합분포(P), 사후 근사기(A), 학습 데이터(D)의 조합으로 구성된 PAD 모델 분류 체계를 제안한다. 또한 인과 일관성, 매개변수 복원 가능성, 예측 성능 등 10개의 유틸리티 차원을 제안하여 모델 품질을 종합적으로 평가하며, 추론 목표에 기반한 트레이드오프를 안내하는 유틸리티 트리까지 제공함으로써 베이지안 모델 구축을 위한 원칙적인 프레임워크를 제시한다.

ABSTRACT

Probabilistic (Bayesian) modeling has experienced a surge of applications in almost all quantitative sciences and industrial areas. This development is driven by a combination of several factors, including better probabilistic estimation algorithms, flexible software, increased computing power, and a growing awareness of the benefits of probabilistic learning. However, a principled Bayesian model building workflow is far from complete and many challenges remain. To aid future research and applications of a principled Bayesian workflow, we ask and provide answers for what we perceive as two fundamental questions of Bayesian modeling, namely (a) "What actually is a Bayesian model?" and (b) "What makes a good Bayesian model?". As an answer to the first question, we propose the PAD model taxonomy that defines four basic kinds of Bayesian models, each representing some combination of the assumed joint distribution of all (known or unknown) variables (P), a posterior approximator (A), and training data (D). As an answer to the second question, we propose ten utility dimensions according to which we can evaluate Bayesian models holistically, namely, (1) causal consistency, (2) parameter recoverability, (3) predictive performance, (4) fairness, (5) structural faithfulness, (6) parsimony, (7) interpretability, (8) convergence, (9) estimation speed, and (10) robustness. Further, we propose two example utility decision trees that describe hierarchies and trade-offs between utilities depending on the inferential goals that drive model building and testing.

연구 동기 및 목표

• 실제로 자주 모호하게 정의되는 베이지안 모델의 본질을 명확히 하기 위해.
• 적합도나 예측성과 같은 전통적 기준을 넘어서, 베이지안 모델 평가를 위한 통합된 프레임워크의 부재를 해결하기 위해.
• 핵심 평가 기준과 그 계층성을 규명함으로써, 원칙적인 워크플로우를 통해 베이지안 모델 구축을 정립하기 위해.
• 다양한 과학적 및 산업 분야에 적용 가능한 확률적 모델링을 위한 분류 체계와 평가 프레임워크를 제공하기 위해.
• 추론 목표에 기반한 구조화된 유틸리티 계층과 트레이드오프 분석을 통해 연구자들이 모델을 선택하는 데 도움을 주기 위해.

제안 방법

• 베이지안 모델를 P(연합분포), A(사후 근사기), D(학습 데이터)의 조합으로 분류하는 PAD 모델 분류 체계를 제안하며, 네 가지의 명확히 구분되는 모델 유형을 도출한다.
• 베이지안 모델 평가를 위한 10개의 유틸리티 차원을 도입한다: 인과 일관성, 매개변수 복원 가능성, 예측 성능, 공정성, 구조적 충실도, 단순성, 해석 가능성, 수렴성, 추정 속도, 강건성.
• 유틸리티 간의 계층성과 트레이드오프를 표현하는 유틸리티 트리를 개발하며, 관측 가능한 추론 목표와 잠재적 추론 목표를 구분한다.
• 복잡한 모델에서 암묵적 우도나 암시적 근사기 사용 시 매개변수 복원 가능성과 수렴성을 평가하기 위해 시뮬레이션 연구와 이론적 분석을 활용한다.
• MCMC, 최적화, SMC, ABC, 암시적 근사 등 다양한 알고리즘에 걸쳐 수렴 진단을 적용하여 사후 근사의 신뢰성을 평가한다.
• 기본값 매개변수를 알 수 없는 경우, 특히 기저 매개변수 값이 알려지지 않은 상황에서 예측 성능을 매개변수 복원 가능성의 대체 지표로 활용한다.

실험 결과

연구 질문

• RQ1 단순한 우도와 사전분포를 넘어서 현대적인 복잡한 응용에서 베이지안 모델이 무엇을 포함하는가?
• RQ2 예측 정확도를 넘어서, 어떻게 체계적으로 베이지안 모델의 품질을 평가할 수 있는가?
• RQ3 다양한 모델 유틸리티 간의 주요 트레이드오프는 무엇이며, 이는 추론 목표에 따라 어떻게 달라지는가?
• RQ4 기본값 매개변수를 알 수 없는 상황에서, 예측 성능이 매개변수 복원 가능성에 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ5 실제 응용에서 인과 일관성과 구조적 충실도를 우선시하기 위해 모델 평가를 어떻게 체계화할 수 있는가?

주요 결과

• PAD 모델 분류 체계는 P(연합분포), A(사후 근사기), D(학습 데이터)의 조합으로서의 베이지안 모델를 명확하고 체계적으로 분류함으로써, 모델 정의의 모호함을 해소한다.
• 인과 일관성은 잠재적 추론 목표에서 가장 높은 우선순위를 가지며, 예측 성능이 높더라도 잘못된 추론을 방지하는 데 핵심적이다.
• 기본값 매개변수를 알 수 없는 경우, 매개변수 복원 가능성은 시뮬레이션 또는 수학적 분석을 통해 평가하는 것이 가장 바람직하며, 이는 중심적이지만 간접적으로 측정 가능한 유틸리티이다.
• 예측 성능이 매개변수 복원 가능성의 타당한 대체 지표가 될 수 있는 것은 인과 일관성이 확보된 모델 내에서만 가능하며, 이는 모델 개선이 진정한 매개변수 추정을 반영하는지 여부를 보장한다.
• 추정 속도와 수렴 진단은 알고리즘에 따라 상당한 차이를 보이며, 암시적 근사기는 더 빠른 추론을 제공하지만 수렴 모니터링의 복잡성이 증가한다.
• 단순성과 구조적 충실도는 모델 복잡성과 해석 가능성의 균형을 이루는 데 도움을 주며, 특히 매개변수 복원 가능성의 직접 평가가 곤란한 경우에 유용하다.