[논문 리뷰] Application of Predictive Model Selection to Coupled Models

Gabriel Terejanu, Todd Oliver외 1명|arXiv (Cornell University)|2011. 07. 05.

Gaussian Processes and Bayesian Inference참고 문헌 7인용 수 5

한 줄 요약

이 논문은 예측 분포의 정교함을 강조하면서 관측되지 않은 관심 양(Quantity of Interest, QoI)을 예측하기 위해 최적의 결합 물리 모델을 선택하기 위한 예측 베이지안 모델 선택 프레임워크를 제안한다. 모델 식별 데이터가 부족한 경우, 특히 진정한 모델이 가설 집합에 포함되어 있지 않은 경우에도 더 신뢰할 수 있는 QoI 예측을 가능하게 하기 위해 모델 불확실성을 통합함으로써, 기존의 베이지안 모델 선택보다 예측 모델 선택이 우수하다는 것을 입증한다.

ABSTRACT

A predictive Bayesian model selection approach is presented to discriminate coupled models used to predict an unobserved quantity of interest (QoI). The need for accurate predictions arises in a variety of critical applications such as climate, aerospace and defense. A model problem is introduced to study the prediction yielded by the coupling of two physics/sub-components. For each single physics domain, a set of model classes and a set of sensor observations are available. A goal-oriented algorithm using a predictive approach to Bayesian model selection is then used to select the combination of single physics models that best predict the QoI. It is shown that the best coupled model for prediction is the one that provides the most robust predictive distribution for the QoI.

연구 동기 및 목표

• 복잡한 다물리계에서 관측되지 않은 관심 양(QoI)을 예측하기 위해 최적의 결합 모델을 선택하는 데 도전하는 것.
• 데이터가 부족하여 식별이 어려운 상황에서 모델 불확실성을 忽시하는 기존의 베이지안 모델 선택의 한계를 극복하는 것.
• 관심 양(QoI)에 대한 예측 확률 밀도 함수(pdf)의 정교함을 최우선으로 삼는 QoI 인식 모델 선택 기준을 개발하는 것.
• 관측이 정보를 제공하지 못하는 상황에서 예측 모델 선택이 표준 베이지안 모델 선택보다 우수함을 입증하는 것.
• 기후 모델링, 항공우주, 핵 무기 보존 관리 등 신뢰할 수 있는 QoI 예측이 핵심적인 고위험 응용 분야에서 의사결정 프레임워크를 제공하는 것.

제안 방법

• 모델 예측 성능에 기반해 각 결합 모델 유형의 증거를 계산하는 목표 지향적 베이지안 프레임워크를 사용한다.
• 모델 타당성만이 아니라 예측 분포에서 유도된 QoI 인식 증거를 사용해 결합 모델을 순위 매긴다.
• 효율적인 계산을 위해 k-최근접 이웃 추정기를 통해 근사된 정보 이론적 측정치(예: 쿨백-라이블러 발산)를 활용한다.
• 예측 밀도를 추정하고 사후 분포에서 샘플링하기 위해 마르코프 체인 몬테카를로(MCMC) 방법을 사용한다.
• 진짜 QoI가 관측되지 않더라도, 후보 모델의 예측 pdf를 진짜 QoI와 비교함으로써 모델 校정 및 검증을 통합한다.
• 최적의 실험 설계 하에서 예측 모델 선택과 기존의 베이지안 모델 선택 간의 동치성을 수립한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 QoI와 제한된 데이터를 가진 상황에서, 어떤 최적의 결합 모델을 선택할 수 있는가?
• RQ2 모델 불확실성은 예측 모델 선택에서 어떤 역할을 하는가? 그리고 QoI 예측의 정교함에 어떤 영향을 미치는가?
• RQ3 예측 정확도와 신뢰성 측면에서 예측 모델 선택이 기존의 베이지안 모델 선택을 능가하는 상황은 언제인가?
• RQ4 진짜 모델이 가설 집합에 포함되어 있지 않은 경우에도 예측 모델 선택이 정교한 모델을 식별할 수 있는가?
• RQ5 QoI 인식 증거를 포함함으로써 복잡한 다물리계에서의 의사결정은 어떻게 향상되는가?

주요 결과

• 사례 1에서는 진짜 모델이 가설 집합에 포함되어 있으나, 예측 모델 선택과 기존의 베이지안 모델 선택 모두 진짜 모델(OQS-OLD)을 정확히 식별하지만, 예측 방법은 더 정교한 예측 pdf를 제공한다.
• 사례 2에서는 강제 모델이 데이터로 인해 잘 식별되지 않지만, 기존의 베이지안 모델 선택은 OQS-OLD를 선택하지만, 그 예측 pdf는 진짜 QoI를 포함하지 못한다. 반면 예측 선택은 진짜 값을 꼬리 부분에 포함하는 OQS-SED를 선택한다.
• 사례 3에서는 진짜 모델이 진동자 모델이나 강제 모델 모두에 포함되어 있지 않지만, 두 선택 방법 모두 OCS-OLD로 수렴한다. 그러나 모든 모델—평균까지 포함해—진짜 QoI에 대해 낮은 가능도를 할당함으로써, 가설이 부적절할 경우 모델 선택의 한계를 드러낸다.
• 예측 모델 선택 방법은 모델 타당성이 잘못된 신호를 줄 수 있는 상황에서도 항상 QoI에 대해 가장 정교한 예측 분포를 생성한다.
• 연구는 모델 불확실성을 선택 과정에 통합해야 할 경우, 특히 정보를 제공하는 관측이 없는 경우 예측 모델 선택이 더 낫다는 것을 확인한다.
• 결과는 추가 데이터 수집이 가능한 경우 예측 모델 선택이 계산적으로 유리하며, 모델 식별을 위한 최적의 실험 설계를 안내한다는 것을 보여준다.