[논문 리뷰] Testing for Outliers with Conformal p-values

Stephen Bates, Emmanuel J. Candès외 3명|RePEc: Research Papers in Economics|2021. 04. 16.

Advanced Statistical Process Monitoring인용 수 6

한 줄 요약

이 논문은 유한 표본 검증성과 양의 상관관계를 갖는 p-값을 생성하는 비모수적 이상치 탐지용 콫포멀 추론 프레임워크를 제안한다. 이는 여사실 검증성 하에서 정확한 제1유형 오류율(FDR) 제어를 가능하게 한다. 또한, 훈련 데이터를 조건으로 하여 유효하고 상호 독립적인 p-값을 생성하는 새로운 방법을 도입하여, 이상치 탐지 시나리오에서 다중 검정에 대한 제1유형 오류 보장을 크게 강화한다.

ABSTRACT

This paper studies the construction of p-values for nonparametric outlier detection, taking a multiple-testing perspective. The goal is to test whether new independent samples belong to the same distribution as a reference data set or are outliers. We propose a solution based on conformal inference, a broadly applicable framework which yields p-values that are marginally valid but mutually dependent for different test points. We prove these p-values are positively dependent and enable exact false discovery rate control, although in a relatively weak marginal sense. We then introduce a new method to compute p-values that are both valid conditionally on the training data and independent of each other for different test points; this paves the way to stronger type-I error guarantees. Our results depart from classical conformal inference as we leverage concentration inequalities rather than combinatorial arguments to establish our finite-sample guarantees. Furthermore, our techniques also yield a uniform confidence bound for the false positive rate of any outlier detection algorithm, as a function of the threshold applied to its raw statistics. Finally, the relevance of our results is demonstrated by numerical experiments on real and simulated data.

연구 동기 및 목표

• 이상치 탐지에 사용되는 일종의 분류 모델에서 통계적 보장을 제공하지 못하는 문제를 해결하기 위해.
• 유한 표본 설정 하에서 유효하고 다중 검정 절차에 적합한 p-값을 개발하기 위해.
• 여러 개의 새로운 데이터 포인트를 테스트할 때 이상치 탐지에서 제1오류율(FDR) 제어를 확보하기 위해.
• 훈련 데이터를 조건으로 하여 유효하고, 테스트 포인트 간 상호 독립적인 p-값을 구성하여 오류율 제어를 향상시키기 위해.
• 어느 이상치 탐지 알고리즘의 임계값에 대한 함수로서, 그 알고리즘의 가짜 양성 비율에 대한 균일한 신뢰 구간을 제공하기 위해.

제안 방법

• 모든 일종의 분류기로 변환 가능한 콕포멀 추론을 활용하여 이상치 테스트를 위한 p-값 생성기로 활용한다.
• 전통적인 콕포멀 추론과는 달리 조합적 추론 대신 농도 불등식을 사용하여 유한 표본 보장을 유도한다.
• 테스트 포인트 간 상호 독립적이며 조건부로 유효한 p-값을 계산하는 새로운 절차를 도입한다.
• 제안된 p-값을 사용하여 FDR 제어를 위해 벤자민-호크베르그 절차를 적용한다.
• 원시 점수 임계값에 기반하여 어떤 이상치 탐지 알고리즘의 가짜 양성 비율에 대한 균일한 신뢰 구간을 유도한다.
• 두 부분 분할 접근법을 사용한다: 반은 분류기를 훈련하고, 나머지 반은 p-값을 校정하여 유효성을 확보한다.

Figure 1: Visualization of the joint distribution of the conformal p-values. The distribution of $\hat{s}(x)$ is the same for calibration and inlier test points. The conformal p-value for each test point is the number of calibration points to its left, divided by the total number of calibration poin

실험 결과

연구 질문

• RQ1 콕포멀 p-값을 사용하여 유한 표본 보장을 갖는 이상치 탐지에서 제1오류율(FDR)을 제어할 수 있는가?
• RQ2 표준 콕포멀 p-값이 여러 테스트 포인트 간에 가지는 상관관계 구조는 무엇이며, 이는 FDR 제어에 어떤 영향을 미치는가?
• RQ3 조건부로 유효하고 상호 독립적인 p-값을 구성하여 제1오류율 제어를 강화할 수 있는가?
• RQ4 어느 이상치 탐지 알고리즘의 임계값에 대해 가짜 양성 비율에 대한 균일한 구간을 어떻게 유도할 수 있는가?
• RQ5 기존의 콕포멀 및 비콕포멀 이상치 탐지 기법과 비교해 볼 때, 제안된 방법의 실용적 성능은 어떠한가?

주요 결과

• 제안된 방법은 p-값의 여사실 검증성 하에 조건부로 유효함에도 불구하고, 정확한 FDR 제어를 달성한다.
• 새로운 방법은 조건부로 유효하고 상호 독립적인 p-값을 생성하여, 표준 콕포멀 p-값보다 더 강력한 제1오류율 제어를 가능하게 한다.
• 실제 및 시뮬레이션 데이터에 대한 수치 실험 결과, 방법은 명목 수준에서 FDR을 제어하면서도 높은 검정력을 유지함을 보였다.
• 가짜 양성 비율에 대한 균일한 신뢰 구간은 날카롭고 실용적 임계값 설정에 유용하다.
• CIFAR-10, MNIST, KDDCup99와 같은 벤치마크 데이터셋에서, 기준 콕포멀 방법보다 FDR 제어 및 탐지 능력 측면에서 뛰어난 성능을 보였다.
• SVM, 이상치 탐지 숲(Isolation Forest), LOF 등 다양한 모델과 데이터 유형(고차원 및 i.i.d.가 아닌 설정 포함)에 대해 강인한 성능을 보였다.

Figure 2: Distribution of the false positive rate obtained by thresholding marginal conformal p-values at levels $\alpha=0.01$ and $\alpha=0.1$ , as a function of the number of calibration points.