[논문 리뷰] Conformal Prediction Sets with Limited False Positives

Adam Fisch, Tal Schuster외 2명|arXiv (Cornell University)|2022. 02. 15.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 다중 레이블 예측 집합에서 거짓 양성 수를 제한하기 위해 k-FP(k-limited false positive) 목적함수를 도입한 콫포멀 예측 프레임워크를 제안한다. 이는 예측 집합당 최대 k개의 거짓 양성 수를 보장하면서도 유효한 커버리지 유지한다. 깊이 있는 집합 기반(set function)을 사용해 레이블을 순위 매기고 예측 집합을 구성함으로써, 낮은 진짜 양성 비율이나 모델의 분리도가 낮은 조건에서도 높은 진짜 양성 회복률과 통제된 거짓 양성 수를 달성한다.

ABSTRACT

We develop a new approach to multi-label conformal prediction in which we aim to output a precise set of promising prediction candidates with a bounded number of incorrect answers. Standard conformal prediction provides the ability to adapt to model uncertainty by constructing a calibrated candidate set in place of a single prediction, with guarantees that the set contains the correct answer with high probability. In order to obey this coverage property, however, conformal sets can become inundated with noisy candidates -- which can render them unhelpful in practice. This is particularly relevant to practical applications where there is a limited budget, and the cost (monetary or otherwise) associated with false positives is non-negligible. We propose to trade coverage for a notion of precision by enforcing that the presence of incorrect candidates in the predicted conformal sets (i.e., the total number of false positives) is bounded according to a user-specified tolerance. Subject to this constraint, our algorithm then optimizes for a generalized notion of set coverage (i.e., the true positive rate) that allows for any number of true answers for a given query (including zero). We demonstrate the effectiveness of this approach across a number of classification tasks in natural language processing, computer vision, and computational chemistry.

연구 동기 및 목표

• 진짜 양성이 드물거나 거짓 양성과 잘 분리되지 않은 경우에도 다중 레이블 콕포멀 예측에서 거짓 양성을 제어하는 데 도전하는 것.
• 유한 표본 분포 무관 가정 하에 예측 집합당 최대 k개의 거짓 양성 수를 보장하면서도 유효한 커버리지를 유지하는 방법을 개발하는 것.
• 의료 진단이나 신약 개발과 같이 과도한 거짓 양성이 비용이 많이 드는 실세계 응용 분야에서의 실용적 유용성을 향상시키는 것.
• 응용 분야의 위험 수용 수준에 따라 조정 가능한 사용자 정의 거짓 양성 수 제한(k)을 제공하는 것.
• 낮은 신호 대 잡음 비율 조건에서도 높은 진짜 양성 회복률을 유지하는 효율적이고 확장 가능한 프레임워크 설계

제안 방법

• 예측 집합이 최대 k개의 거짓 양성 수를 포함하도록 제약되는 k-FP(k-limited false positive) 목적함수를 도입한다.
• 레이블 하위집합의 적합도를 모델링하기 위해 DeepSets 기반의 집합 함수를 사용하여 레이블 간 상호작용을 함께 고려한다.
• 알고리즘은 추정된 경계 적합도 점수 pθ(y_c ∈ Z|x)에 따라 후보 집합을 순위 매기며, k-FP 제약 조건을 만족하는 가장 큰 집합을 선택한다.
• 교환 가능성 하에 유한 표본의 유효성과 경계 커버리지를 보장하기 위해 비일관성 점수(nonconformity score)를 사용해 캘리브레이션한다.
• 레이블을 적합도 점수 내림차순으로 반복적으로 추가함으로써 중첩된 후보 집합을 구성하여 거짓 양성 수의 단조성 보장.
• 모델의 잘못된 특정화에 강건하며, 진짜 양성이 거짓 양성과 잘 분리되지 않은 경우에도 잘 작동한다.

실험 결과

연구 질문

• RQ1 사용자가 지정한 k로 제한된 거짓 양성 수를 갖는 콕포멀 예측 집합을 구성할 수 있는가? 이때 유효한 커버리지를 유지할 수 있는가?
• RQ2 기본 모델이 진짜 양성을 잘 순위 매기지 못하거나 진짜 양성이 드문 경우 k-FP 목적함수의 성능은 어떠한가?
• RQ3 DeepSets 기반의 집합 함수가 거짓 양성 제약 조건 하에서 레이블 간 의존성을 효과적으로 모델링하여 예측 집합의 품질을 향상시킬 수 있는가?
• RQ4 FDR 기반 방법과 비교할 때 k-FP 접근법은 거짓 양성 제어 및 진짜 양성 회복 측면에서 어떻게 성능을 내는가?
• RQ5 모델 신뢰도가 낮은 저신호 환경에서 제안된 방법은 확장 가능하고 효과적인가?

주요 결과

• 제안된 k-FP 방법은 예측 집합당 최대 k개의 거짓 양성 수를 보장하면서도, 유효한 유한 표본 성질과 경계 커버리지를 유지한다.
• 진짜 양성의 자연적 비율이 낮거나 거짓 양성과 잘 분리되지 않은 경우에도 높은 진짜 양성 회복률을 달성한다.
• FDR 제어가 실패하는 상황(예: 한 개의 진짜 양성을 포함하기 위해 FDR < 0.5 가 필요)에서조차도 k=1일 때 진짜 양성을 포함할 수 있다.
• DeepSets 기반의 집합 함수는 레이블 간 의존성을 모델링하여 복잡한 레이블 구조에서 단순한 경계 적합도 점수 계산보다 성능이 뛰어나다.
• 기본 모델이 진짜 양성과 거짓 양성 간 분리도가 낮더라도, 명시적인 거짓 양성 제약 덕분에 프레임워크는 여전히 효과적이다.
• 모델 불확실성에 강건하며, 다양한 레이블 공간 크기와 데이터 분포에서 뛰어난 성능을 유지한다.