[논문 리뷰] Better together? Statistical learning in models made of modules

Pierre Jacob, Lawrence M. Murray외 2명|arXiv (Cornell University)|2017. 08. 29.

Gaussian Processes and Bayesian Inference참고 문헌 1인용 수 45

한 줄 요약

이 논문은 모델 부정확성 존재 하에서 전체 베이지안 모델과 모듈러 접근법 사이에서 결정 이론 프레임워크를 제안한다. 예측 점수와 중요도 샘플링을 사용하여 모듈 간 피드백을 차단할 경우 추론이 향상되는지 평가하며, 구성 요소가 잘못 지정된 경우 모듈러 방법이 종종 전체 모델보다 성능이 뛰어나다는 것을 입증한다.

ABSTRACT

In modern applications, statisticians are faced with integrating heterogeneous data modalities relevant for an inference, prediction, or decision problem. In such circumstances, it is convenient to use a graphical model to represent the statistical dependencies, via a set of connected "modules", each relating to a specific data modality, and drawing on specific domain expertise in their development. In principle, given data, the conventional statistical update then allows for coherent uncertainty quantification and information propagation through and across the modules. However, misspecification of any module can contaminate the estimate and update of others, often in unpredictable ways. In various settings, particularly when certain modules are trusted more than others, practitioners have preferred to avoid learning with the full model in favor of approaches that restrict the information propagation between modules, for example by restricting propagation to only particular directions along the edges of the graph. In this article, we investigate why these modular approaches might be preferable to the full model in misspecified settings. We propose principled criteria to choose between modular and full-model approaches. The question arises in many applied settings, including large stochastic dynamical systems, meta-analysis, epidemiological models, air pollution models, pharmacokinetics-pharmacodynamics, and causal inference with propensity scores.

연구 동기 및 목표

• 모듈러 통계 모델에서 한 모듈의 오류가 다른 모듈의 추론을 오염시킬 수 있는 모델 부정확성 문제를 다루기 위해.
• 피드백 흐름이 제한된 전체 모델 또는 모듈러 접근법을 사용할지 결정하기 위한 원칙적이고 데이터 기반의 방법을 개발하기 위해.
• 상호 연결된 모듈들로 구성된 그래픽 모델에서 불확실성 전파와 부정확성에 대한 강건성 사이의 트레이드오프를 체계화하기 위해.
• 예측 점수와 중요도 샘플링을 사용하여 모듈러 추론을 평가할 수 있는 계산적으로 실현 가능한 방법을 제공하기 위해.
• 피드백이 잘못 지정된 모듈에서 비롯되어 전체 사후분포 계산이 비가역적인 상황으로 확장된 베이지안 추론을 위해.

제안 방법

• 미래 데이터의 로그 주변확률밀도를 기반으로 한 예측 점수를 제안하며, 이는 컷 분포에서 추출한 샘플을 사용해 계산된다. 이는 모델 성능 평가에 사용된다.
• 첫 번째 모듈의 사후분포에서 추출한 샘플을 제안 분포로 사용하여 중요도 샘플링을 수행함으로써, 피드백이 약한 경우 전체 사후분포를 근사할 수 있도록 한다.
• 두 단계 추론 절차를 도입한다: 먼저 첫 번째 모듈의 컷 분포에서 샘플을 추출하고, 이를 바탕으로 중요도 가중치를 사용해 전체 사후분포를 근사한다.
• 예측 점수를 계산하기 위해 데이터 순서 전략을 사용하며, 관측 순서에 대한 민감도를 줄이기 위해 순열 평균을 적용한다.
• 예측 정확도와 강건성에 기반해 전체 모델과 모듈러 모델 사이에서 선택하기 위해 결정 이론 기준을 적응시킨다.
• 직접 전체 사후분포에 대한 MCMC를 수행하는 대신, 첫 번째 모듈의 사전에 샘플링된 분포에 의존함으로써 비가역 피드백 항목을 처리한다.

실험 결과

연구 질문

• RQ1 모델 부정확성이 존재할 때, 모듈 간 피드백이 제한된 모듈러 접근법이 전체 베이지안 모델보다 바람직한가?
• RQ2 원칙적이고 결정 이론 기반의 방식으로 모듈러 모델과 전체 모델의 예측 성능을 공식적으로 평가하고 비교할 수 있는가?
• RQ3 두 번째 모듈에서 첫 번째 모듈로 강한 피드백이 존재하고 비가역적인 경우, 전체 사후분포를 정확하게 근사하기 위한 계산 전략은 무엇인가?
• RQ4 데이터 기반 기준에 기반해 사전 가정이 아닌 최적의 추론 전략(모듈러 또는 전체)을 선택할 수 있는 프레임워크를 어떻게 설계할 수 있는가?
• RQ5 어떤 설정에서 모듈 간 피드백을 차단하면 불확실성 정량화가 더 강건하고 신뢰할 수 있게 되는가?

주요 결과

• 적어도 하나의 모듈이 부정확하게 지정된 경우, 피드백을 차단한 모듈러 접근법이 전체 모델 사후분포보다 예측 정확도에서 뛰어나는 경우가 많다.
• 컷 분포에서 중요도 샘플링을 기반으로 한 제안된 예측 점수는 모델 선택에 신뢰할 수 있는 기준을 제공한다.
• 메타분석 및 성향 스코어를 사용한 인과 추론과 같은 모델 부정확성이 흔한 설정에서 이 방법은 효과적이다.
• 두 번째 모듈에서 첫 번째 모듈로의 피드백이 약할 경우, 첫 번째 모듈의 사후분포에서 중요도 샘플링이 잘 작동하지만, 강할 경우 반복적으로 첫 번째 모듈을 쿼리해야 한다.
• 데이터 순열에 대한 예측 점수 평균화는 관측 순서에 대한 민감도를 줄이지만, 계산 비용 증가의 잠재적 위험이 있다.
• 이 프레임워크는 비정규 사전을 다루는 것과 같은 사례별 적응을 지원하며, 힘의 가능성을 가진 모델이나 부분 피드백이 있는 모델로도 확장 가능하다.