[논문 리뷰] Hypothesis Testing for Validation and Certification

Clint Scovel, Ingo Steinwart|arXiv (Cornell University)|2013. 02. 26.

Simulation Techniques and Applications참고 문헌 34인용 수 3

한 줄 요약

이 논문은 측정의 집중 이론을 사용하여 모델 검증 및 인증을 통계적 가설 검정 문제로 공식화하며, 오류 비율을 엄밀하게 근사하는 데에 사용된다. 이는 농도 매개변수의 값이 알려지지 않은 경우에도 데이터 기반 추정을 통해 이러한 매개변수를 추정함으로써, 실험 데이터를 초월하는 영역에서의 외삽 검증을 가능하게 하며, 제1종 및 제2종 오류를 보장하는 검정을 구축한다.

ABSTRACT

We develop a hypothesis testing framework for the formulation of the problems of 1) the validation of a simulation model and 2) using modeling to certify the performance of a physical system. These results are used to solve the extrapolative validation and certification problems, namely problems where the regime of interest is different than the regime for which we have experimental data. We use concentration of measure theory to develop the tests and analyze their errors. This work was stimulated by the work of Lucas, Owhadi, and Ortiz where a rigorous method of validation and certification is described and tested. In a remark we describe the connection between the two approaches. Moreover, as mentioned in that work these results have important implications in the Quantification of Margins and Uncertainties (QMU) framework. In particular, in a remark we describe how it provides a rigorous interpretation of the notion of confidence and new notions of margins and uncertainties which allow this interpretation. Since certain concentration parameters used in the above tests may be unkown, we furthermore show, in the last half of the paper, how to derive equally powerful tests which estimate them from sample data, thus replacing the assumption of the values of the concentration parameters with weaker assumptions. This paper is an essentially exact copy of one dated April 10, 2010.

연구 동기 및 목표

• 모델 검증 및 인증을 명확한 성능 기준과 신뢰 수준을 갖춘 통계적 가설 검정 문제로 공식화한다.
• 실험 조건과는 다를 수 있는 배포 환경에서의 외삽 검증 문제를 해결하기 위해 측정의 집중 부등식을 활용한다.
• 정량적 마진과 불확실성의 양식(QMU) 프레임워크 내에서 신뢰도, 마진, 불확실성의 엄밀한 해석을 제공한다.
• 강한 농도 매개변수에 대한 가정을 제거하고, 표본 데이터로부터 이러한 매개변수를 추정하는 검정을 유도한다.
• 약한 가정 하에 제1종 및 제2종 오류 비율에 대한 이론적 보장을 확보함으로써 실용적 적용성을 향상시킨다.

제안 방법

• 확률적 성능 제약 조건을 만족하는 랜덤 변수의 집합으로 귀무가설 및 대립가설을 공식화한다: $\mathcal{H}_{a,p} = \{U \in \mathcal{U} : \mathbb{P}(U \geq a) \geq p\}$ 및 $\mathcal{K}_{a',p'} = \{U \in \mathcal{U} : \mathbb{P}(U \geq a') < p'\}$.
• 측정의 집중 부등식을 적용하여 가설 검정에서 제1종 및 제2종 오류의 확률에 대한 경계를 유도한다.
• 알 수 없는 농도 매개변수 $D_F$ 및 $\mathcal{D}_F$에 대한 데이터 기반 추정기법을 도입하여 강한 사전 가정 대신 더 약한 경험적 추정치를 사용한다.
• 손실 함수의 구조와 그의 하위가우시안 성질을 활용하여 $f_H'(r_1,r_2,\delta)$ 및 $f_K'(r_1,r_2,\delta)$ 를 통해 명시적인 오류 경계를 갖는 검정 통계량을 도출한다.
• 레마 4.1 및 정리 4.11을 활용하여 귀무가설 및 대립가설 하에서 검정 통계량의 기대값을 이용해 오류 확률에 대한 이론적 경계를 도출한다.
• 성능 기준 $a$ 와 $p$ 에 대해 내재된 허용 구간 $A$ 와 $P$ 를 사용하여 복합 검정을 구성함으로써, 고객이 지정한 성능 기준에 대한 유연성을 확보하면서도 오류 보장을 유지한다.

실험 결과

연구 질문

• RQ1 어떻게 모델 검증 및 인증을 명확한 성능 기준을 갖춘 통계적 가설 검정 문제로 엄밀하게 공식화할 수 있는가?
• RQ2 측정의 집중 이론은 외삽 영역에서의 검증 및 인증 검정에 대한 오류 경계를 유도하는 데 어떤 역할을 하는가?
• RQ3 실제로 농도 매개변수가 알려져 있지 않을 경우, 이에 대한 가정을 어떻게 완화할 수 있으며, 이는 검정의 검정력과 신뢰성에 어떤 영향을 미치는가?
• RQ4 제안된 검정은 QMU 프레임워크 내에서 신뢰도, 마진, 불확실성의 엄밀한 해석을 어떻게 제공하는가?
• RQ5 농도 매개변수를 데이터 기반으로 추정하는 것이 알려진 매개변수를 가정하는 경우와 동일한 검정력을 갖는가?

주요 결과

• 이 프레임워크는 측정의 집중 부등식을 사용하여 제1종 및 제2종 오류 비율을 보장하는 엄밀한 가설 검정을 가능하게 한다.
• 농도 매개변수가 알려지지 않은 경우, 표본 데이터로부터 이를 추정함으로써 동일한 강력한 검정을 도출할 수 있으며, 강한 가정을 더 약한 경험적 제약 조건으로 대체한다.
• 오류 확률에 대한 이론적 경계는 $f_H'(r_1,r_2,\delta)$ 와 $f_K'(r_1,r_2,\delta)$ 를 통해 유도되며, 이는 $\mathcal{D}_F$ 와 $\mathcal{D}_{F'}$ 의 경험적 추정치에 의존한다.
• 결과는 QMU 프레임워크 내에서의 신뢰도에 대한 엄밀한 해석을 제공하며, 검정 구조를 통해 마진과 불확실성과의 명시적 연결 고리를 제공한다.
• 결론 5.1 및 5.2는 이론적 $\mathcal{D}_F$ 와 $\mathcal{D}_{F'}$ 를 데이터 기반 추정치로 대체할 경우 오류 경계 $\delta_1$ 과 $\delta_2$ 가 유지됨을 보여주며, 이는 강건성을 확보한다.
• 허용 구간 $A$ 와 $P$ 를 통해 고객이 지정한 성능 기준에 대한 민감한 조정이 가능하며, 이는 실용적 적용을 가능하게 하면서도 이론적 보장을 유지한다.