[논문 리뷰] Selection by Prediction with Conformal p-values

Ying Jin, Emmanuel J. Candès|arXiv (Cornell University)|2022. 10. 04.

Statistical Methods in Clinical Trials인용 수 8

한 줄 요약

이 논문은 근거 없는 결과를 가진 후보자를 선별하면서도 잘못 발견 비율(FDR)을 통제하기 위해 콫포럴 p-값과 다중 검정 절차를 활용하는 cfBH 방법을 제안한다. 예측 모델에서 유도한 p-값을 구성하고 임계값 기반의 선별을 적용함으로써, 조건부로 교환 가능성이 있는 가정 하에서도 잘못 발견 비율의 기대값이 사용자가 지정한 수준 이하로 유지됨을 보장한다. 이는 직업 채용 및 신약 개발 설정에서의 실증적 검증을 통해 입증되었다.

ABSTRACT

Decision making or scientific discovery pipelines such as job hiring and drug discovery often involve multiple stages: before any resource-intensive step, there is often an initial screening that uses predictions from a machine learning model to shortlist a few candidates from a large pool. We study screening procedures that aim to select candidates whose unobserved outcomes exceed user-specified values. We develop a method that wraps around any prediction model to produce a subset of candidates while controlling the proportion of falsely selected units. Building upon the conformal inference framework, our method first constructs p-values that quantify the statistical evidence for large outcomes; it then determines the shortlist by comparing the p-values to a threshold introduced in the multiple testing literature. In many cases, the procedure selects candidates whose predictions are above a data-dependent threshold. Our theoretical guarantee holds under mild exchangeability conditions on the samples, generalizing existing results on multiple conformal p-values. We demonstrate the empirical performance of our method via simulations, and apply it to job hiring and drug discovery datasets.

연구 동기 및 목표

• 사용자가 정의한 임계값을 초과하는 관측되지 않은 결과를 가진 후보자를 선별하면서도 잘못 발견 비율(FDR)을 통제하는 방법을 개발하는 것.
• 독립 동일분포(i.i.d.) 샘플링이 아닌, 단지 샘플의 교환 가능성(exchangeability)이라는 최소한의 분포 가정 하에서도 FDR 통제를 보장하는 것.
• 신뢰할 수 있는 데이터 기반 선별을 위해 콕포럴 추론과 다중 검정 절차를 통합하는 것.
• 실제 채용 및 신약 개발 데이터셋을 대상으로 제안된 방법의 실증적 성능을 입증하는 것.

제안 방법

• 각 테스트 샘플에 대해, 그 결과가 사용자가 지정한 임계값을 초과할 통계적 증거를 측정함으로써 콕포럴 p-값을 구성한다.
• 캘리브레이션 세트를 사용해 비일관성 점수(nonconformity scores)를 계산하며, 이는 주어진 결과가 훈련 데이터에 비해 얼마나 극단적인지를 수량화한다.
• 계산된 p-값에 벤자민-호크베르그 절차(Benjamini-Hochberg procedure, BH)를 적용하여, 사전 설정된 수준에서 FDR를 통제하는 기각 임계값을 결정한다.
• p-값이 BH 임계값 이하인 모든 테스트 유닛을 선별함으로써, 교환 가능성 하에서 FDR 통제를 보장한다.
• 안정성과 검정력의 타당성을 평가하기 위해 두 가지 비일관성 점수를 사용한다: 잔차 편차 기반(BH_res), 클리핑된 편차 기반(BH_clip).
• 약물 발견에서와 같이 샘플별로 다른 임계값을 가진 데이터셋에 적용하여 결과의 이질성에 대응한다.

실험 결과

연구 질문

• RQ1 예측 모델을 통계적 프레임워크로 감싸서 고위험 의사결정의 후보자 선별에서 FDR 통제를 보장할 수 있는가?
• RQ2 콕포럴 추론은 약물 발견에서와 같이 샘플별로 다른 임계값(예: 분위수 기반 절단값)을 처리하는 데 어떻게 적응할 수 있는가?
• RQ3 제안된 방법의 실증적 성능은 채용 및 가상의 신약 스크리닝과 같은 실제 스크리닝 작업에서 어떻게 나타나는가?
• RQ4 비일관성 점수의 선택은 선별 절차의 검정력과 안정성에 어떤 영향을 미치는가?
• RQ5 분포 이탈이나 i.i.d. 샘플링에서의 이탈이 발생할 경우, 이 방법은 어느 정도 유효성을 유지하는가?

주요 결과

• cfBH 방법은 모든 테스트 설정에서 명목상 수준(Nominal level)에서 FDR를 통제하며, 실측된 FDP 값은 목표 신뢰수준(q ∈ {0.1, 0.2, 0.5})에 매우 가까운 것으로 나타났다.
• q = 0.1일 때 BH_clip 방법이 BH_res보다 항상 더 높은 통계적 검정력과 더 큰 선별 집합을 확보하였다.
• q = 0.1일 때 BH_res는 명목 수준 이하의 FDP를 보였으며, 이는 낮은 검정력으로 인한 보수적 행동임을 시사한다. 반면 BH_clip은 명목 수준에 가까운 FDP를 유지하였다.
• 모집단 분위수 기반 임계값(q_pop)이 증가함에 따라 두 방법 모두 검정력이 감소하였는데, 이는 더 높은 결과 임계값 요구로 인해 예상되는 결과였다.
• 이 방법은 다양한 데이터 분포와 임계값 유형(특히 약물 발견에서의 타겟별 분위수 기반 임계값)에 대해 강건함을 보였다.
• 이 방법은 i.i.d. 가정을 초월하여 약간의 교환 가능성 조건 하에서도 FDR 통제를 유지함으로써, 실제 스크리닝 파이프라인에 더 넓은 적용 가능성을 확보하였다.