[논문 리뷰] Conformal Risk Control

Anastasios N. Angelopoulos, Stephen Bates외 3명|arXiv (Cornell University)|2022. 08. 04.

Statistical Methods in Clinical Trials인용 수 25

한 줄 요약

콘포멀 예측을 모든 단조 손실에 대한 기대 위험을 보장하도록 확장하고, 여러 분포 이동 및 확장 변형과 더불어 실용적인 NLP/CV 예시를 제시한다.

ABSTRACT

We extend conformal prediction to control the expected value of any monotone loss function. The algorithm generalizes split conformal prediction together with its coverage guarantee. Like conformal prediction, the conformal risk control procedure is tight up to an $\mathcal{O}(1/n)$ factor. We also introduce extensions of the idea to distribution shift, quantile risk control, multiple and adversarial risk control, and expectations of U-statistics. Worked examples from computer vision and natural language processing demonstrate the usage of our algorithm to bound the false negative rate, graph distance, and token-level F1-score.

연구 동기 및 목표

• 모델 후처리 출력에 대한 통계적 보장을 제공하여 안전한 배포를 촉진한다.
• 오직 미스커버리지(miscoverage)만이 아니라 단조 손실의 기대 값을 경계하도록 콘포멀 예측을 일반화한다.
• 유한 샘플 보장을 가진 실용적이고 촘촘한 위험 제어 알고리즘을 개발한다.
• 분포 이동, 분위수 위험, 다중 위험, 적대적 위험, 및 U-통계에 대한 확장을 탐구한다.

제안 방법

• 비증가 손실 L_i(lambda)를 갖는 매개변수화된 보수적 출력 군 C_lambda를 통해 모델 예측을 후처리한다.
• 보정 데이터에서 L_i(lambda)의 평균으로 경험적 위험 R_hat_n(lambda)을 정의하고 위험 제약식 하한 조건( n/(n+1) R_hat_n(lambda) + (B/(n+1)) <= alpha 를 만족하도록 lambda_hat를 선택한다.
• 선택된 lambda_hat가 단조적이고 오른연속적이며 범위가 한정된 손실 L_{n+1}(lambda_hat)에 대해 기댓값 E[L_{n+1}(lambda_hat)] <= alpha를 보장함을 증명한다.
• 완만한 가정 하에 위험 경계의 타이트함이 2B/(n+1까지임을 보이고, 단조성 조건에 대해 논의한다.
• 손실이 미스커버리지인 경우 콘포멀 리스크 컨트롤을 표준 콘포멀 예측과 관련 짓고, 비단조 손실의 한계에 대해 논의한다.
• 분포 이동, 분위수 위험, 다중 위험, 적대적 위험 및 U-위험 제어에 대한 확장을 제공한다.

실험 결과

연구 질문

• RQ1 미스커버리(miscoverage)를 넘어 단조 손실에 대한 기대 위험을 보장하도록 콘포멀 예측을 일반화하려면 어떻게 해야 하는가?
• RQ2 위험 보장의 타이트함은 얼마이며 어떤 조건에서 방법이 성립하거나 실패하는가?
• RQ3 분포 이동, 분위수 위험, 다중 위험, 적대적 설정을 다루도록 접근법을 어떻게 확장할 수 있는가?
• RQ4 실제로 콘포멀 리스크 컨트롤은 고전적 콘포멀 예측과 어떻게 연관되며 어떤 차이가 있는가?
• RQ5 CV/NLP의 실제 실무 작업에서 이진이 아닌 손실에 대한 효과적인 위험 제어를 보여줄 수 있는가?

주요 결과

• 제안된 콘포멀 리스크 컨트롤은 모든 유계 단조 손실 함수에 대해 새 포인트의 기대 손실이 최대 alpha임을 보장한다.
• 위험 제어 경계는 O(1/n) 인수까지 타이트하며, 향상의 한계를 보여주는 유도된 하한이 있다.
• 손실이 미스커버리지 지시자인 경우 이 프레임워크는 표준 콘포멀 예측을 포괄한다.
• 확장을 통해 분포 이동, 분위수 위험, 다중 위험, 적대적 설정 및 U-통계에서의 위험 제어가 가능하다.
• 종양 분할, 다중 라벨 분류, 계층적 이미지 분류, 오픈 도메인 QA에 걸친 실례들은 FNR, 그래프 거리, 토큰 수준 F1-점수를 제어하는 것을 보여준다.