[논문 리뷰] A theoretical framework for calibration in computer models: parametrization, estimation and convergence properties

Rui Tuo, Changbao Wu|arXiv (Cornell University)|2015. 08. 28.

Advanced Multi-Objective Optimization Algorithms참고 문헌 19인용 수 8

한 줄 요약

이 논문은 컴퓨터 모델에서 校정(calibration)을 위한 이론적 프레임워크를 수립하며, 신뢰할 수 있는 매개변수 추정을 위한 기준으로 $L_2$-일致성($L_2$-consistency)을 도입한다. 원래의 Kennedy-O’Hagan 방법에서의 일치성 결여 문제를 밝혀내고, 최적의 수렴 속도를 달성하는 $L_2$-일치성($L_2$-consistency)을 보장하는 새로운 $L_2$ 校정 방법을 제안함으로써, 불확실성 정량화에서의 근본적인 식별 가능성과 추정 문제를 해결한다.

ABSTRACT

Calibration parameters in deterministic computer experiments are those attributes that cannot be measured or available in physical experiments. Kennedy and O'Hagan \cite{kennedy2001bayesian} suggested an approach to estimate them by using data from physical experiments and computer simulations. A theoretical framework is given which allows us to study the issues of parameter identifiability and estimation. We define the $L_2$-consistency for calibration as a justification for calibration methods. It is shown that a simplified version of the original KO method leads to asymptotically $L_2$-inconsistent calibration. This $L_2$-inconsistency can be remedied by modifying the original estimation procedure. A novel calibration method, called the $L_2$ calibration, is proposed and proven to be $L_2$-consistent and enjoys optimal convergence rate. A numerical example and some mathematical analysis are used to illustrate the source of the $L_2$-inconsistency problem.

연구 동기 및 목표

• 결정론적 컴퓨터 모델에서 校정을 위한 엄밀한 이론적 기초를 구축하여, 매개변수화, 추정 및 수렴 문제를 다루는 것.
• 식별 가능성($identifiability)을 보장하기 위해 $L_2$-거리 투영을 사용하여 校정 매개변수의 개념을 정의하고 체계화하는 것.
• 원래 Kennedy-O’Hagan (KO) 방법에서 발생하는 $L_2$-일치성 결여 문제를 분석하고 해결하는 것.
• 최적의 수렴 속도를 보장하면서 $L_2$-일관성을 확보하는 새로운 $L_2$ 校정 방법을 제안하는 것.
• 재생 커널 힐버트 공간에서의 함수 근사 이론을 통해 校정 방법에 대한 수학적 정당성을 제공하는 것.

제안 방법

• 교정의 이론적 근거로 $L_2$-일관성을 도입하며, 이는 추정된 응답값이 진정된 응답값으로 $L_2$ 노름에서 수렴하는 것으로 정의된다.
• 컴퓨터 시뮬레이션 출력과 물리적 관측치를 모델링하기 위해 가우시안 프로세스 모델과 재생 커널 힐버트 공간(RKHS) 이론을 사용한다.
• $L_2$-거리 투영을 적용하여, 물리적 응답과 시뮬레이션 응답 간의 $L_2$-거리의 최소화자로 校정 매개변수를 정의한다.
• 커널 기반 함수 공간을 통한 근사 오차의 경계를 이용하여 수렴 속도를 유도하며, 설계 밀도에서 $h^{k'}$-형태의 감쇠를 보인다.
• 물리적 응답과 시뮬레이션 응답 간의 $L_2$-노름 차이를 최소화하는 방식으로 $L_2$ 校정 방법을 제안함으로써 일관성을 보장한다.
• 테일러 전개와 색스의 부등식을 활용하여 추정 오차를 경계하고, 추정기(estimator)가 진정된 校정 매개변수로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 왜 원래의 Kennedy-O’Hagan 방법이 $L_2$-일관성 없는 校정을 초래하는가? 이 일관성 결여의 원인은 무엇인가?
• RQ2 모델의 불일치가 존재하는 상황에서 식별 가능성을 보장하기 위해 校정 매개변수를 어떻게 체계적으로 정의할 수 있는가?
• RQ3 $L_2$-일관성을 확보하기 위한 조건는 무엇이며, 어떻게 이를 달성할 수 있는가?
• RQ4 최적의 수렴 속도와 $L_2$-일관성을 동시에 확보하는 새로운 校정 방법을 구성할 수 있는가?
• RQ5 커널 기반 함수 근사가 校정 추정기의 이론적 수렴을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 원래 KO 방법의 단순화된 형태는 渐近적으로 $L_2$-일관성 없는 校정을 초래하며, 이는 추정된 응답값이 설계 밀도가 증가함에 따라 진정된 물리적 응답값으로 수렴하지 않는다는 것을 의미한다.
• $L_2$ 校정 방법이 $L_2$-일관성임이 증명되었으며, 이는 설계 밀도가 증가함에 따라 추정된 응답값이 진정된 물리적 응답값으로 $L_2$ 노름에서 수렴함을 보장한다.
• $L_2$ 校정 방법은 $O(h^{k'-1})$의 최적 수렴 속도를 달성한다. 여기서 $h$는 설계 밀도이고 $k'$는 커널의 매끄러움 매개변수이다.
• 원래 KO 방법의 추정 오차는 $O(h^{k'})$로 경계되며, 이는 $L_2$-일관성에 부족한 반면, $L_2$ 校정 방법은 기울기에서 $O(h^{k'-1})$ 오차를 달성하여 일관성을 보장한다.
• 이론적 분석을 통해 정규성 조건 하에서 진정된 매개변수에서 손실 함수의 헤시안 행렬이 가역임을 확인하였으며, 이는 국소적 유일성과 추정기의 수렴성을 보장한다.
• 수치적 및 분석적 결과는 $L_2$-일관성의 결여가 원래 KO 추정 절차에서 부적절한 가중치 부여에 기인하며, 이는 새로운 $L_2$ 校정 프레임워크에 의해 수정됨을 보여준다.