[논문 리뷰] Optimal Data Split Methodology for Model Validation

Rebecca Morrison, Corey Bryant외 3명|arXiv (Cornell University)|2011. 08. 30.

Probabilistic and Robust Engineering Design참고 문헌 9인용 수 5

한 줄 요약

이 논문은 특정 관심사의 양(QoI)에 대한 모델의 예측 능력을 철저히 시험하기 위해 가장 도전적인 校정 및 검증 세트를 선택하는 체계적이고 최적화 기반의 데이터 분할 방법론을 제안한다. 크기 제약 조건 하에서 가능한 모든 데이터 분할을 평가하고, 校정의 충분성을 확보하면서도 검증의 도전성을 최대화하는 분할을 선정함으로써, 모델이 관측되지 않은 시나리오를 신뢰성 있게 예측할 수 있는지 여부를 파악한다. 이 방법은 데이터 복원 능력은 양호한데도 QoI 예측 능력이 열 劣한 ICCD 카메라 데이터 감소 모델을 무효화함으로써 검증되었다.

ABSTRACT

The decision to incorporate cross-validation into validation processes of mathematical models raises an immediate question - how should one partition the data into calibration and validation sets? We answer this question systematically: we present an algorithm to find the optimal partition of the data subject to certain constraints. While doing this, we address two critical issues: 1) that the model be evaluated with respect to predictions of a given quantity of interest and its ability to reproduce the data, and 2) that the model be highly challenged by the validation set, assuming it is properly informed by the calibration set. This framework also relies on the interaction between the experimentalist and/or modeler, who understand the physical system and the limitations of the model; the decision-maker, who understands and can quantify the cost of model failure; and the computational scientists, who strive to determine if the model satisfies both the modeler's and decision maker's requirements. We also note that our framework is quite general, and may be applied to a wide range of problems. Here, we illustrate it through a specific example involving a data reduction model for an ICCD camera from a shock-tube experiment located at the NASA Ames Research Center (ARC).

연구 동기 및 목표

• 모델 검증에서 校정 및 검증 세트로 데이터를 분할하는 데 있어 체계적이고 정량적인 기준의 부족 문제를 해결하기 위해.
• 모델이 校정 데이터에 의해 충분히 정보를 얻고, 동시에 검증 데이터에 의해 철저히 시험받도록 보장하기 위해, 특히 관측할 수 없는 관심사의 양(QoI)을 예측하는 데 중점을 두어.
• 특히 제한적 또는 고전적인 실험 데이터가 존재하는 경우에 주관적이거나 임의적인 데이터 분할을 피할 수 있는 프레임워크를 개발하기 위해.
• 모델러, 실험자, 의사결정자 간의 통찰을 계산 기반 검증과 융합하여, 예측 용도로의 모델 신뢰성 평가를 위한 통합적 접근을 제공하기 위해.
• 핵심 예측 모델링이 요구되는 다양한 과학 분야에 일반화 가능한 방법론을 제공하기 위해, 예를 들어 핵 무기 보존 또는 항공우주 재진입 시뮬레이션과 같은 분야에서 적용 가능하도록.

제안 방법

• 모델이 주어진 校정 세트 크기(예: 11개의 게이트 너비 중 7개)로 고정된 크기의 校정 및 검증 세트로 분할 가능한 모든 이산 분할을 평가한다.
• 각 분할에 대해 균일한 사전분포를 사용하여 베이지안 추론을 적용해 모델 파라미터를 校정하고 사후분포를 계산한다.
• 각 분할에 대해 두 가지 지표를 계산한다: $M_D$는 모델이 校정 데이터를 얼마나 잘 재현하는지 측정하는 지표이며, 상대 오차 허용 범위 $M^*_D = 0.2$로 설정된다. $M_Q$는 QoI에 대한 모델의 예측 성능을 측정한다.
• 최적의 분할 $s^*$는 $M_D(s_k) < M^*_D$ 조건을 만족하는 모든 분할 중에서 $M_Q$를 최대화하는 분할로 선정된다. 이는 모델이 동시에 적절히 校정되었고, 가장 도전적인 검증을 받는다는 것을 보장한다.
• 검증 피라미드 개념을 활용하여 모델 예측을 실제 세계의 QoI와 일치시켜, 지표가 예측 작업과 직접적으로 관련되도록 한다.
• 이 방법은 충격관 실험에서 확보한 ICCD 카메라 데이터 감소 모델에 적용되었으며, 11개의 게이트 너비를 $Δ t$ 기준으로 그룹화한 데이터 포인트로 구성되어 있다.

실험 결과

연구 질문

• RQ1 예측 검증의 철저함을 극대화하기 위해 데이터를 校정 및 검증 세트로 분할하는 최적의 방법은 무엇인가?
• RQ2 어떻게 하면 검증 세트에 의해 체계적으로 모델을 시험하면서도, 동시에 校정 세트에 의해 충분히 정보를 얻을 수 있도록 할 수 있는가?
• RQ3 관심사의 양(QoI)에 대한 실험 데이터가 가용하지 않을 경우, 모델의 예측 능력은 어느 정도 평가할 수 있는가?
• RQ4 모델러, 실험자, 의사결정자 간의 상호작용을 계산 기반 검증 프레임워크 내에서 어떻게 체계화할 수 있는가?
• RQ5 주관적이거나 임의적인 데이터 분할을 대체하기 위해 체계적이고 데이터 기반의 접근 방식이 모델 검증에서 사용될 수 있는가?

주요 결과

• 최적의 데이터 분할 $s^*$는 가장 낮은 네 개의 게이트 너비(0.5, 0.6, 0.7, 0.8 μs)가 校정 세트에서 제외된 경우로, QoI 예측에 있어 가장 도전적인 상황이었다.
• 모든 330개의 가능한 데이터 분할을 평가한 결과, $M_Q(s^*) > M^*_Q$이므로 검증 기준에 실패하였으며, 이는 QoI를 신뢰성 있게 예측할 수 없다는 것을 의미한다.
• 모델은 평균 상대 오차가 20% 이내의 허용 범위($M^*_D = 0.2$) 이내로, 校정 데이터를 잘 재현하였으며, 적절한 校정이 이루어졌음을 확인하였다.
• 분석 결과는 낮은 $\Delta t$ 데이터 포인트가 校정에서 제외되었을 때 증가하는 검증의 도전 수준에 따라 네 개의 명확한 그룹으로 나뉘었다.
• 분할의 군집화 결과는 향후 작업에서 대표 샘플링 또는 상호정보 기반 데이터 클러스터링을 통해 계산 비용을 줄일 수 있음을 시사한다.
• 이 프레임워크는 ICCD 카메라 데이터 감소 모델을 성공적으로 무효화하였으며, 데이터 복원은 양호한데도 예측 실패를 탐지할 수 있음을 입증하였다.