[논문 리뷰] Adjustments to Computer Models via Projected Kernel Calibration

Rui Tuo|arXiv (Cornell University)|2017. 05. 09.

Advanced Multi-Objective Optimization Algorithms참고 문헌 14인용 수 4

한 줄 요약

이 논문은 컴퓨터 모델 校정에서 점점 증가하는 표본 크기에서 점근적 정규성과 반모수적 효율성을 달성하는 빈도주의 접근인 투사 커널 校정 방법을 제안한다. 시뮬레이터의 기울기와 수직인 부분공간에 커널 함수를 투사함으로써, 케네디-오헤건 방법의 일관성 문제를 해결하고, 대규모 표본 근사에 의존하지 않고도 신뢰구간 추정을 위한 자연스러운 베이지안 해석을 가능하게 한다.

ABSTRACT

Identification of model parameters in computer simulations is an important topic in computer experiments. We propose a new method, called the projected kernel calibration method, to estimate these model parameters. The proposed method is proven to be asymptotic normal and semi-parametric efficient. As a frequentist method, the proposed method is as efficient as the $L_2$ calibration method proposed by Tuo and Wu [Ann. Statist. 43 (2015) 2331-2352]. On the other hand, the proposed method has a natural Bayesian version, which the $L_2$ method does not have. This Bayesian version allows users to calculate the credible region of the calibration parameters without using a large sample approximation. We also show that, the inconsistency problem of the calibration method proposed by Kennedy and O'Hagan [J. R. Stat. Soc. Ser. B. Stat. Methodol. 63 (2001) 425-464] can be rectified by a simple modification of the kernel matrix.

연구 동기 및 목표

• 큰 표본 근사에서 사전 분포 선택에 의존하는 케네디-오헤건(KO) 베이지안 校정 방법의 일관성 문제를 해결하기 위해.
• 점근적 정규성과 반모수적 효율성을 갖춘 빈도주의 校정 방법을 개발하여, $L_2$ 校정의 성능을 재현하기 위해.
• 대규모 표본 근사에 의존하지 않고도 신뢰 영역 추정이 가능한 자연스러운 베이지안 버전의 校정 방법을 제공하기 위해.
• 커널 기반 수직 조건을 통해 기존의 校정 프레임워크에서 발생하는 식별 가능성 및 일관성 문제를 수정하기 위해.
• 빈도주의 효율성과 베이지안 불확실성 정량화의 장점을 결합한 통합 프레임워크를 수립하기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 내에서 시뮬레이터 출력의 기울기와 상대적으로 커널을 수직으로 정규화함으로써 투사 커널 함수를 도입한다.
• 수직 조건 $\hat{\theta}_n^* \perp \mathcal{G}_{\hat{\theta}_n^*}$ 를 사용하여, $\mathcal{P}^\perp_{\mathcal{G}_\theta}$ 라는 투사 연산자를 정의함으로써, 오차 함수가 시뮬레이터 민감도 공간과 수직임을 보장한다.
• 투사된 커널에서 유도된 기저 함수를 사용하여 오차 함수의 비모수적 추정을 수행하는 校정 추정량을 구성한다.
• 이 방법은 $L_2$ 校정 방법과 점근적으로 동일하며, 일관성과 효율성과 같은 빈도주의 성질을 이어받는다.
• 투사된 오차에 가우시안 프로세스 사전분포를 두어 베이지안 버전을 유도함으로써, KO와 유사한 닫힌 형태의 사후분포를 얻으며, 일관성은 향상된다.
• 이론적 분석은 도네스커 유형의 엔트로피 조건과 경험 과정의 점근적 동등연속성을 기반으로 하여 수렴성과 점근 분포를 확립한다.

실험 결과

연구 질문

• RQ1 빈도주의 효율성과 자연스러운 베이지안 해석을 모두 갖춘 校정 방법을 개발할 수 있는가?
• RQ2 투사 커널 校정 방법은 원래 케네디-오헤건 방법에 내재된 일관성 문제를 해결하는가?
• RQ3 오차 함수와 시뮬레이터 기울기 사이의 수직 조건을 이용하여 일관성 있고 효율적인 추정량을 구성할 수 있는가?
• RQ4 점근적으로, 효율성과 점근 분포 측면에서 $L_2$ 校정 방법과 동일한가?
• RQ5 대규모 표본 근사에 의존하지 않고도 校정 파라미터의 신뢰 영역을 계산할 수 있는가?

주요 결과

• 투사 커널 校정 방법은 점근적으로 정규분포를 따르며 반모수적 효율성을 갖추어 $L_2$ 校정 방법의 성능을 재현한다.
• 이 방법은 커널 행렬을 수정하여 시뮬레이터의 기울기 공간과 수직이 되도록 함으로써, KO 방법의 일관성 문제를 해결한다.
• 이 방법의 베이지안 버전은 대규모 표본 근사 없이 직접 신뢰구간을 계산할 수 있으며, 이는 $L_2$ 방법과는 다릅니다.
• 추정량은 $\hat{\theta}_n^* \perp \mathcal{G}_{\hat{\theta}_n^*}$ 를 만족함으로써, 추정식의 이阶항이 소멸되며, 이는 향상된 점근적 성질로 이어진다.
• 경험 과정 이론을 사용하여 추정량의 점근 분포를 유도하였으며, 반모수적 효율성 경계를 달성하는 분산-공분산 행렬을 갖는 정규분포로 수렴하는 것으로 나타났다.
• 이 방법은 $L_2$ 校정과 점근적으로 동일하며, 정규성 조건 하에서 동일한 점근 분포를 갖는다.