[논문 리뷰] Multi-model ensembles for ecosystem prediction

Michael A. Spence, Julia L. Blanchard외 8명|arXiv (Cornell University)|2017. 09. 15.

Marine and fisheries research참고 문헌 9인용 수 5

한 줄 요약

이 논문은 기후 및 어업 정책 시나리오 하에서 예측 정확도를 향상시키고 불확실성을 견고하게 정량화하기 위해 다수의 기계적 생태계 시뮬레이터를 일관된 앙상블으로 통합하는 베이지안 통계 메타모델을 제안한다. 시뮬레이터와 관측치 간의 차이를 모델링하여 사전 지식, 시뮬레이터 출력값, 관측 데이터를 통합함으로써 예측을 수행하며, 개별 모델이나 단순 평균화보다 뛰어난 성능을 발휘한다.

ABSTRACT

When making predictions about ecosystems, we often have available a number of different ecosystem models that attempt to represent their dynamics in a detailed mechanistic way. Each of these can be used as simulators of large-scale experiments and make forecasts about the fate of ecosystems under different scenarios in order to support the development of appropriate management strategies. However, structural differences, systematic discrepancies and uncertainties lead to different models giving different predictions under these scenarios. This is further complicated by the fact that the models may not be run with the same species or functional groups, spatial structure or time scale. Rather than simply trying to select a 'best' model, or taking some weighted average, it is important to exploit the strengths of each of the available models, while learning from the differences between them. To achieve this, we construct a flexible statistical model of the relationships between a collection or 'ensemble' of mechanistic models and their biases, allowing for structural and parameter uncertainty and for different ways of representing reality. Using this statistical meta-model, we can combine prior beliefs, model estimates and direct observations using Bayesian methods, and make coherent predictions of future outcomes under different scenarios with robust measures of uncertainty. In this paper we present the modelling framework and discuss results obtained using a diverse ensemble of models in scenarios involving future changes in fishing levels. These examples illustrate the value of our approach in predicting outcomes for possible strategies pertaining to climate and fisheries policy aimed at improving food security and maintaining ecosystem integrity.

연구 동기 및 목표

• 구조적, 매개변수적, 시나리오 차이로 인해 다수의 기계적 생태계 모델이 일관되지 않은 예측을 내는 문제를 해결하기 위해.
• 단일 '최고의 모델'을 선택하는 데 의존하지 않고, 모델의 강점을 통합하고 약점을 보완하는 통합 통계 프레임워크를 개발하기 위해.
• 베이지안 추론을 통해 사전 지식, 시뮬레이터 출력값, 관측 데이터를 통합하여 일관되고 불확실성 인식이 가능한 예측을 생성하기 위해.
• 특히 식량 안보와 생태계의 건강성 측면에서 다양한 관리 시나리오 하에서 생태계 결과를 견고하게 예측하기 위해.
• 공간, 시간, 기능 그룹의 구조가 다른 모델을 수용할 수 있는 유연하고 확장 가능한 접근법을 제공하기 위해.

제안 방법

• 각 시뮬레이터의 출력과 관측된 현실 사이의 차이를 계층적 베이지안 프레임워크를 사용하여 표현하는 통계적 메타모델을 구축하기 위해.
• 진정한 상태를 조건으로 하여 시뮬레이터 출력값을 조건부 독립으로 모델링하고, 차이의 분포를 다변량 정규분포로 가정하기 위해.
• 전문가가 모델 신뢰도와 구조적 불확실성에 대해 가지는 믿음을 반영하기 위해 사전 추출 기법을 사용하기 위해.
• 사전 믿음, 시뮬레이터 예측값, 관측 데이터를 베이지안 추론을 통해 후행 예측 분포로 통합하기 위해.
• 미래 시나리오에서 시뮬레이터가 실행되지 않을 경우에 비해 차이의 공분산 행렬을 증가시켜 시간에 따라 변하는 불확실성을 허용하기 위해.
• 데이터가 상호 비교가 불가능할 경우 베이즈 인자에 의존하지 않고, 후행 모델 확률에서 유도된 가중치를 사용한 모델 평균화를 수행하기 위해.

실험 결과

연구 질문

• RQ1 다른 구조와 가정을 가진 다수의 생태계 시뮬레이터를 어떻게 통합하여 단일 모델보다 더 신뢰할 수 있는 예측을 도출할 수 있는가?
• RQ2 서로 다른 출력과 시나리오를 가진 다양한 시뮬레이터 간의 불확실성을 어떻게 정량화하고 전파할 수 있는가?
• RQ3 시뮬레이터와 관측치 간의 차이를 학습함으로써 통계적 메타모델이 예측 정확도를 향상시킬 수 있는가?
• RQ4 전문가 지식을 어떻게 체계적으로 시뮬레이터 출력값과 관측 데이터와 함께 일관된 베이지안 프레임워크 내에서 통합할 수 있는가?
• RQ5 일부 시뮬레이터가 미래 시나리오를 실행할 수 없는 경우를 포함할 때의 영향은 무엇이며, 그 기여를 어떻게 유지할 수 있는가?

주요 결과

• 메타모델은 개별 시뮬레이터나 단순 평균화보다 보다 우수한 성능을 보이며, 상호보완적인 강점을 활용하고 전체 예측 불확실성을 감소시킨다.
• 일부 시나리오를 실행할 수 없는 시뮬레이터를 포함함으로써 시간이 지남에 따라 그들의 차이 분산을 증가시키는 방식으로도 현재 생태계 상태와 종 간 상호작용에 대한 유용한 정보를 제공할 수 있다.
• 한 모델이 '최고'라는 가정을 피하고 후행 확률 기반의 모델별 가중치를 허용함으로써 모델의 강건성을 향상시킨다.
• 공간, 시간, 기능 그룹의 구조가 다른 모델을 효과적으로 처리하여, 출력이 직접 비교가 불가능한 경우에도 통합이 가능하게 한다.
• 실제 시스템에 대한 다수의 관측치를 포함함으로써 공통된 차이에 대한 학습이 향상되며, 특히 직접 관측치가 부족한 경우에 유용하다.
• 현대 베이지안 계산 도구를 활용하면 비정규 분포의 가능성조차 고려할 수 있어, 고차원 문제에 대해서도 확장 가능하고 적응 가능한 접근법이다.