[논문 리뷰] Quantitative model validation techniques: new insights

You Ling, Sankaran Mahadevan|arXiv (Cornell University)|2012. 06. 21.

Probabilistic and Robust Engineering Design참고 문헌 48인용 수 6

한 줄 요약

이 논문은 계산 모델 예측을 평가하기 위해 고전적 및 베이지안 가설 검정, 신뢰도 기반 방법, 영역 지표 기반 방법을 포함한 네 가지 정량적 모델 검증 기법을 제안하고 평가한다. 방향성 편향을 고려하기 위해 베이지안 간격 가설 검정을 도입하였으며, 임계값 최적화와 모델 평균화를 통해 베이지안 방법이 유의수준 검정과 특정 조건 하에서 강한 수학적 유사성을 보이며 타입 I/II 오류 위험을 감소시킴을 보여준다.

ABSTRACT

This paper develops new insights into quantitative methods for the validation of computational model prediction. Four types of methods are investigated, namely classical and Bayesian hypothesis testing, a reliability-based method, and an area metric-based method. Traditional Bayesian hypothesis testing is extended based on interval hypotheses on distribution parameters and equality hypotheses on probability distributions, in order to validate models with deterministic/stochastic output for given inputs. Two types of validation experiments are considered - fully characterized (all the model/experimental inputs are measured and reported as point values) and partially characterized (some of the model/experimental inputs are not measured or are reported as intervals). Bayesian hypothesis testing can minimize the risk in model selection by properly choosing the model acceptance threshold, and its results can be used in model averaging to avoid Type I/II errors. It is shown that Bayesian interval hypothesis testing, the reliability-based method, and the area metric-based method can account for the existence of directional bias, where the mean predictions of a numerical model may be consistently below or above the corresponding experimental observations. It is also found that under some specific conditions, the Bayes factor metric in Bayesian equality hypothesis testing and the reliability-based metric can both be mathematically related to the p-value metric in classical hypothesis testing. Numerical studies are conducted to apply the above validation methods to gas damping prediction for radio frequency (RF) microelectromechanical system (MEMS) switches. The model of interest is a general polynomial chaos (gPC) surrogate model constructed based on expensive runs of a physics-based simulation model, and validation data are collected from fully characterized experiments.

연구 동기 및 목표

• 완전히 또는 부분적으로 특성화된 실험, 결정론적 또는 확률적 예측, 방향성 편향, 임계값 선택과 같은 모델 검증 분야에서 해결되지 않은 과제를 다루기 위해.
• 모델 예측의 분포 모수에 대한 간격 가설 검정과 확률 밀도 함수(PDF) 간의 등가성 가설 검정으로 확장된 베이지안 가설 검정을 통해 모델 검증을 향상시키기 위해.
• 다양한 실험 데이터 조건 하에서 고전적 가설 검정, 베이지안 가설 검정, 신뢰도 기반 방법, 영역 지표 기반 방법의 성능을 평가하기 위해.
• 위험 기반 임계값과 모델 평균화를 통해 베이지안 방법이 모델 선택 오류를 최소화함을 보여주기 위해.
• 모델 예측이 관측치를 일관되게 과소 또는 과대 예측하는 방향성 편향이 베이지안 간격 검정, 신뢰도 기반 방법, 영역 지표 기반 방법을 통해 정량적으로 측정될 수 있음을 보여주기 위해.

제안 방법

• 예측 평균과 표준편차를 실험 데이터와 비교하여 예측을 검증하기 위해 베이지안 간격 가설 검정을 제안하며, 우도 함수와 사후 확률을 사용한다.
• 모델 예측과 실험 관측치의 전체 확률 밀도 함수(PDF) 간의 등가성 가설 검정으로 베이지안 가설 검정을 확장한다.
• 허용 구간을 사용하여 실패 확률을 계산하고 고전적 가설 검정 지표와 비교하는 신뢰도 기반 방법을 도입한다.
• 예측 잔차의 경험적 누적분포함수(CDF)와 균일 누적분포함수(CDF) 간의 거리를 계산하여 모델 일치도를 정량화하는 영역 지표 기반 방법을 개발한다.
• 140개의 완전히 특성화된 실험 데이터 포인트를 사용하여 RF MEMS 스위치 감쇠에 대한 일반화된 다항차우성(gPC) 대체 모델에 이러한 방법들을 적용한다.
• 베이지안 검증에서 사후 확률 기반 모델 평균화를 통해 타입 I/II 오류 위험을 감소시키고 모델 선택의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 모델 모수에 대한 간격 가설 검정과 PDF 간의 등가성 가설 검정으로 확장된 베이지안 가설 검정은 불확실성 하에서 모델 검증을 어떻게 향상시킬 수 있는가?
• RQ2 고전적 가설 검정과 베이지안 가설 검정은 모델 예측의 방향성 편향에 대해 어떤 방식으로 민감도가 다를까?
• RQ3 신뢰도 기반 방법과 영역 지표 기반 방법은 모델 예측의 방향성 편향을 어떻게 탐지하고 정량화하는가?
• RQ4 베이지안 검정에서의 베이즈 요인과 고전적 가설 검정에서의 p-값은 어떤 조건 하에서 수학적으로 관련이 있는가?
• RQ5 베이지안 모델 검증 결과는 공 ing된 시스템의 장기 신뢰성 및 고장 분석에 직접 통합될 수 있는가?

주요 결과

• 베이지안 간격 가설 검정은 모델 예측이 실험 데이터를 일관되게 과소 또는 과대 예측하는 방향성 편향을 효과적으로 캡처하며, 이러한 경우 고전적 방법보다 성능이 열 劣하다.
• 신뢰도 기반 방법과 영역 지표 기반 방법 모두 그 지표에서 방향성 편향을 반영하며, 편향 하에서 성능이 열 劣할수록 지표 값이 높아진다.
• RF MEMS 스위치의 gPC 대체 모델에서 실험 데이터와 가장 좋은 일치는 중간 압력 조건(28,664.31 Pa 및 43,596.41 Pa)에서 관찰되었으며, 가장 낮은(18,798.45 Pa) 및 가장 높은(66,661.19 Pa) 압력에서 성능이 떨어졌다.
• 영역 지표는 18,798.45 Pa에서 gPC 모델이 가장 열 劣한 성능을 보였으며(영역 지표 = 0.543), 주로 방향성 편향 때문이었다.
• z-검정과 신뢰도 기반 방법은 실험적 유의수준 α를 기반으로 한 신뢰도 임계값 설정 시 동일한 실패 비율을 산출하였다.
• 특정 조건 하에서 베이지안 가설 검정의 베이즈 요인과 신뢰도 기반 지표는 p-값과 수학적으로 관련이 있으며, 고전적 및 베이지안 검증 프레임워크 간의 다리를 놓는 데 기여한다.