[논문 리뷰] Kernel Stein Tests for Multiple Model Comparison

Jen Ning Lim, Makoto Yamada외 2명|arXiv (Cornell University)|2019. 10. 27.

Statistical Methods and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 $ l > 2 $개의 후보 모델 중에서 최고의 모델을 선택할 때 거짓 양성 비율(FPR)과 거짓 발견 비율(FDR)을 각각 제어하는 두 가지 비모수적 통계적 검정인 RelPSI와 RelMulti를 제안한다. 커널 기반의 차이(예: MMD 또는 KSD)를 사용하고 선택 편향을 사후 선택 추론 또는 다중 보정을 통해 보정함으로써, 높은 참 양성 비율을 달성하면서도 오류 비율을 잘 제어하는 성능을 보이며, 원시의 발산 점수에 기반한 난이성 있는 선택보다 뛰어난 성능을 발휘한다.

ABSTRACT

We address the problem of non-parametric multiple model comparison: given $l$ candidate models, decide whether each candidate is as good as the best one(s) or worse than it. We propose two statistical tests, each controlling a different notion of decision errors. The first test, building on the post selection inference framework, provably controls the number of best models that are wrongly declared worse (false positive rate). The second test is based on multiple correction, and controls the proportion of the models declared worse but are in fact as good as the best (false discovery rate). We prove that under appropriate conditions the first test can yield a higher true positive rate than the second. Experimental results on toy and real (CelebA, Chicago Crime data) problems show that the two tests have high true positive rates with well-controlled error rates. By contrast, the naive approach of choosing the model with the lowest score without correction leads to more false positives.

연구 동기 및 목표

• l > 2개의 후보 모델이 존재할 때 비모수적 다중 모델 비교 문제를 다루기 위해.
• 기준 모델(최고의 모델)을 데이터 기반으로 선택함에 따라 발생하는 선택 편향으로 인한 모델 선택 오류, 특히 거짓 양성과 거짓 발견을 제어하기 위해.
• MMD나 KSD와 같은 커널 기반의 차이를 사용하여, 기존의 이변량 비교(예: RelMMD)를 초월해 다수의 모델에 대한 상대적 적합도 검정을 확장하기 위해.
• 기준 모델이 데이터에 기반해 선택됨으로써 발생하는 선택 편향 하에서 오류 제어에 대한 이론적 보장을 제공하기 위해.
• 제안된 검정이 다양한 합성 및 실세계 데이터셋에서 오류 비율을 잘 제어하면서도 높은 통계적 검정력을 유지하는지 경험적으로 검증하기 위해.

제안 방법

• 모델 간 발산 추정치(MMD 또는 KSD)가 가장 낮은 모델을 기준 모델로 선택하여 비교의 기준으로 삼는다.
• l개의 모델 각각에 대해, 해당 모델과 기준 모델 간의 발산 차이를 상대 검정 통계량으로 계산한다.
• RelPSI는 거짓 양성 비율(FPR)을 제어하기 위해 사후 선택 추론(post-selection inference)을 사용하며, 잘못된 방식으로 최고 모델이 열악한 것으로 판단될 확률이 유한하게 제한됨을 보장한다.
• RelMulti는 다중 보정(예: Benjamini-Hochberg)을 적용하여 거짓 발견 비율(FDR)을 제어한다. 즉, 실제로는 최고 모델보다 열악하지 않은 모델 중에서 잘못되어 최고 모델보다 열악하다고 잘못 판단하는 비율을 제어한다.
• MMD를 통한 샘플 기반 모델이나 KSD를 통한 비정규화된 밀도 함수 기반 모델에 모두 적용 가능하여 광범위한 적용 가능성을 확보한다.
• RelMulti-KSD의 점근적 귀무분포를 도출함으로써 타당한 추론이 가능해지며, $ l=2 $일 경우 두 표본 상대 검정으로 복원되는 특수한 경우를 포함한다.

실험 결과

연구 질문

• RQ1 이론적 엄밀함을 유지하면서도 이변량 비교를 초월해 다수의 모델에 대한 상대 적합도 검정을 확장할 수 있는가?
• RQ2 기준 모델이 데이터에 기반해 선택됨으로써 발생하는 선택 편향 하에서 거짓 양성 비율을 어떻게 제어할 수 있는가?
• RQ3 다중 모델 비교에서 거짓 발견 비율(FDR)을 제어하는 것이 가족적 오류 비율(FPR)을 제어하는 것보다 더 높은 통계적 검정력을 제공하는가?
• RQ4 어떤 조건에서 사후 선택 추론(RelPSI)이 다중 보정(RelMulti)보다 더 높은 참 양성 비율을 달성하는가?
• RQ5 원시의 발산 점수에 기반한 난이성 있는 모델 선택 방식에 비해 제안된 검정은 경험적으로 어떻게 성능을 발휘하는가?

주요 결과

• RelPSI는 거짓 양성 비율(FPR)을 제어하고, RelMulti는 거짓 발견 비율(FDR)을 제어하며, 적절한 조건 하에서 이론적 보장을 갖춘다.
• 혼합 정규분포 문제에서 RelPSI는 항상 RelMulti보다 더 높은 참 양성 비율(TPR)을 달성하며, 이는 정리 4.1의 이론적 경계를 확인한다.
• RBM 실험에서는 KSD 기반 검정이 가장 높은 TPR을 기록하여, 비정규화된 밀도 함수로 표현되는 모델에서는 KSD의 장점이 뚜렷하게 드러난다.
• 평균 이동 실험에서는 RelPSI와 RelMulti가 다양한 편향 수준에서도 제어된 FPR과 FDR을 유지하며, 모델 유사성에 대해 강건함을 보였다.
• 가장 낮은 발산 점수를 가진 모델을 선택하는 난이성 있는 접근 방식은 유의미하게 더 많은 거짓 양성을 유발하며, 보정의 필요성을 강조한다.
• 경험적 결과에 따르면, 선택에 50%의 데이터, 테스트에 50%의 데이터를 사용할 경우 RelMulti는 잘 제어된 FDR과 높은 TPR을 달성하지만, 선택에 더 많은 데이터를 사용할 경우 테스트에 사용할 데이터가 줄어들어 검정력이 감소함을 확인했다.