[논문 리뷰] Robust Hypothesis Test for Nonlinear Effect with Gaussian Processes

Jeremiah Zhe Liu, Brent A. Coull|arXiv (Cornell University)|2017. 10. 03.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 5

한 줄 요약

이 논문은 선형 혼합 모델 프레임워크 내에서 분산 성분을 기반으로 하는 한쪽 검정을 활용하여 가우시안 프로세스를 사용해 비선형 효과를 탐지하기 위한 강건한 가설 검정을 제안한다. 모델 잘못 지정과 작은 표본에서의 안정적인 성능을 확보하기 위해 교차검증 기반 커널 엔셈블(CVEK) 추정기를 도입하였으며, 다양한 데이터 생성 함수에서 기존의 표준 커널 선택 방법과 비교해도 유의미한 유의수준 제어와 검정력 향상을 입증하였다.

ABSTRACT

This work constructs a hypothesis test for detecting whether an data-generating function $h: R^p ightarrow R$ belongs to a specific reproducing kernel Hilbert space $\mathcal{H}_0$ , where the structure of $\mathcal{H}_0$ is only partially known. Utilizing the theory of reproducing kernels, we reduce this hypothesis to a simple one-sided score test for a scalar parameter, develop a testing procedure that is robust against the mis-specification of kernel functions, and also propose an ensemble-based estimator for the null model to guarantee test performance in small samples. To demonstrate the utility of the proposed method, we apply our test to the problem of detecting nonlinear interaction between groups of continuous features. We evaluate the finite-sample performance of our test under different data-generating functions and estimation strategies for the null model. Our results reveal interesting connections between notions in machine learning (model underfit/overfit) and those in statistical inference (i.e. Type I error/power of hypothesis test), and also highlight unexpected consequences of common model estimating strategies (e.g. estimating kernel hyperparameters using maximum likelihood estimation) on model inference.

연구 동기 및 목표

• 부분적으로 알려진 재생 커널 힐버트 공간(RKHS)에 속하는 비선형 데이터 생성 함수가 존재하는지 여부를 탐지하기 위한 가설 검정을 개발하는 것.
• 기존의 매개변수 기반 추론이 직접 적용되지 않는 가우시안 프로세스와 같은 블랙박스 모델에서 특징 효과를 테스트하는 데 도전하는 것.
• 작은 표본 설정에서 커널 잘못 지정 및 과적합/과소적합에 대한 강건성을 확보하는 것.
• 교차검증 오차를 최소화하는 방식으로 최적의 커널 구조를 선택하는 엔셈블 기반 추정기(CVEK)를 제안하여 신뢰할 수 있는 귀무모델 추정을 보장하는 것.
• 커널 기반 가설 검정의 맥락에서 머신러닝의 개념(과소적합/과적합)과 통계적 추론의 개념(유의수준 I형 오류/검정력)을 연결하는 것.

제안 방법

• 특징 효과를 나타내는 스칼라 매개변수를 재생 커널 힐버트 공간(RKHS)의 구조에서 유도한 한쪽 검정을 사용하여 가설 검정을 수립하는 것.
• 가우시안 프로세스 회귀를 선형 혼합 모델(LMM)로 재구성하여 분산 성분 검정을 가능하게 하는 것.
• 모든 대안 모델 피팅을 피하기 위해 귀무모델 추정치에만 기반한 스코어 검정 통계량을 사용하는 것.
• 교차검증 오차를 최소화하는 방식으로 커널 라이브러리에서 커널을 선택하는 교차검증 커널 엔셈블(CVEK) 추정기를 개발하는 것.
• RBF 및 신경망 커널에 대해 하이퍼파ram터의 그리드를 사용하여 강건성을 확보하기 위해 CVEK를 적용하는 것.
• LMM 프레임워크를 활용하여 귀무하에서 스코어 검정 통계량과 그 점근적 분포를 유도하는 것.

실험 결과

연구 질문

• RQ1 기능 형태가 알려져 있지 않고 귀무 RKHS에 대한 부분적인 지식 뿐인 경우, 기능 형태가 알려지지 않은 블랙박스 모델(예: 가우시안 프로세스)에서 비선형 효과를 어떻게 테스트할 수 있는가?
• RQ2 특히 과적합 또는 과소적합이 발생할 경우 커널 잘못 지정가 유의수준 I형 오류와 검정력에 어떤 영향을 미치는가?
• RQ3 표준 커널 추정 전략이 실패하는 소규모 표본에서 엔셈블 기반 커널 선택 방법이 테스트 성능을 향상시킬 수 있는가?
• RQ4 일반적인 모델 추정 방법(예: 하이퍼파ram터에 대한 최대우도추정법)은 가설 검정의 타당성에 어떤 영향을 미치는가?
• RQ5 머신러닝의 개념(과소적합/과적합)과 통계적 추론 개념(유의수준 I형 오류/검정력) 사이의 관계는 무엇인가?

주요 결과

• CVEK 추정기를 사용할 경우, 모든 데이터 생성 함수에서 조건부로 잘못 지정된 모델일지라도 검정의 유의수준이 정확히 유지되며(약 0.05), 이는 강건성을 입증한다.
• 다항식 커널(선형 및 이차)은 일관되게 과소적합되며, 이는 유의수준이 과다 추정되고 검정력이 감소하는 결과를 초래한다.
• 저차수의 마테른 커널(1/2 및 3/2)은 진짜 함수가 매끄럽을 경우 과적합되며, 이는 유의수준이 과소 추정되고 검정력이 극도로 감소하는 결과를 초래한다.
• MLE로 추정한 하이퍼파ram터를 가진 RBF 커널은 특히 복잡하거나 거친 함수일 경우 소규모 표본에서 과다 유의수준(최대 0.238)을 보인다.
• RBF-Median(데이터 거리의 중앙값 기반)은 잘 작동하지만 略적으로 보수적인 경향이 있다; CVEK-RBF와 CVEK-NN은 모든 비엔셈블 방법보다도 더 우수한 유의수준 제어와 검정력을 보인다.
• CVEK-RBF와 CVEK-NN은 모든 진짜 커널 유형에서 강건한 성능을 보이며, CVEK-RBF는 다소 더 높은 검정력을 보여, 신뢰할 수 있는 추론을 위한 엔셈블 기반 커널 선택의 가치를 입증한다.