[논문 리뷰] Learn then Test: Calibrating Predictive Algorithms to Achieve Risk Control

Anastasios N. Angelopoulos, Stephen Bates외 3명|arXiv (Cornell University)|2021. 10. 03.

Machine Learning and Algorithms참고 문헌 69인용 수 18

한 줄 요약

이 논문은 기계학습 모델의 예측 신뢰도에 대해 유한 표본, 분포 무관 통계적 보장을 제공하는 새로운 방법인 학습 후 검정(Learn then Test, LTT) 프레임워크를 소개한다. 위험 제어를 저차원 매개변수 공간에서의 다중 가설 검정 문제로 재정의함으로써, 모델 재학습이나 단조성 가정 없이도 오류율(예: 거짓 발견률, 커버리지, 교차합집합)을 엄밀하게 제어할 수 있으며, 다중 레이블 분류, 세분화, 이상치 탐지와 같은 작업에서 비단조성 위험에 대해 처음으로 이러한 보장을 달성한다.

ABSTRACT

We introduce a framework for calibrating machine learning models so that their predictions satisfy explicit, finite-sample statistical guarantees. Our calibration algorithms work with any underlying model and (unknown) data-generating distribution and do not require model refitting. The framework addresses, among other examples, false discovery rate control in multi-label classification, intersection-over-union control in instance segmentation, and the simultaneous control of the type-1 error of outlier detection and confidence set coverage in classification or regression. Our main insight is to reframe the risk-control problem as multiple hypothesis testing, enabling techniques and mathematical arguments different from those in the previous literature. We use the framework to provide new calibration methods for several core machine learning tasks, with detailed worked examples in computer vision and tabular medical data.

연구 동기 및 목표

• 현대 기계학습 모델, 특히 딥 뉴럴 네트워크에서 유한 표본 통계적 보장의 부족 문제를 해결하기 위해.
• 모델 내부 구조나 데이터 분포와 관계없이 어떤 예측 모델에도 적용 가능한 분포 무관, 유한 표본 오류 제어를 제공하는 모듈러한 프레임워크를 개발하기 위해.
• 이전 연구의 한계(예: 단조성 및 일차원 매개변수 제약)를 극복하기 위해 비단조성, 다차원 위험 함수에 대한 위험 제어를 가능하게 하기 위해.
• 다중 레이블 분류, 인스턴스 세분화, 선택적 분류, 회귀, OOD 탐지 등 다양한 기계학습 작업 간의 위험 제어를 통합하기 위해.
• 캘리브레이션 데이터 세트와 후처리만을 사용하여 이론적 보장이 있는 실용적이고 재현 가능한 캘리브레이션 방법을 제공하기 위해.

제안 방법

• 위험 제어 문제를 저차원 매개변수 공간 λ에서의 다중 가설 검정 문제로 재정의하여 엄밀한 통계적 추론을 가능하게 한다.
• 이중 분할 캘리브레이션 전략을 사용: 모델을 별도의 데이터 세트에서 학습한 후, 별도의 캘리브레이션 세트를 사용해 여러 λ 값에 대해 검정하고 위험 제약 조건을 충족하는 값을 선택한다.
• 다양한 λ 값에 대한 가족별 유의수준 오류율을 제어하기 위해 고정 순서 검정 절차를 적용하여 유한 표본 유효성을 확보한다.
• 작업에 특화된 오류를 기록하는 위험 함수 R(λ)를 정의하고, 캘리브레이션 데이터 하에서 R(λ)의 분포를 경험적 누적분포함수를 통해 추정한다.
• 교환 가능성 추론을 가능하게 하기 위해 정밀화된 통계량(Z_swap)을 조건으로 삼고, 하프딩, 벤트쿠스 등 정규 분포에 가까운 농도 불등식을 적용해 검정 통계량을 경계한다.
• 라데이처르 대칭화와 서로 다른 Z_swap 구성 수에 대한 유니온 바운드를 사용해 총 제1종 오류율을 제어한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 복잡한 모델(예: 딥 뉴럴 네트워크)에 대해 예측 신뢰도에 대해 유한 표본, 분포 무관 보장을 제공할 수 있는가?
• RQ2 한 번의 프레임워크로 거짓 발견률, IOU, 커버리지 등 여러 위험 지표를 동시에 제어할 수 있는가?
• RQ3 기존의 불확실성 정량화 방법을 제한하는 단조성 및 일차원 매개변수 가정을 완화할 수 있는가?
• RQ4 다중 레이블 분류나 세분화에서 발생하는 비단조성 설정에서도 유효한 위험 제어가 가능한가?
• RQ5 모든 사전 학습된 모델과 데이터 유형과 호환되는 모듈러하고 즉시 사용 가능한 캘리브레이션 프레임워크를 설계할 수 있는가?

주요 결과

• LTT 프레임워크는 (α, δ)-위험 제어 예측을 실현하며, 임의의 α와 δ에 대해 P(R(𝑇_λ̂) ≤ α) ≥ 1−δ 를 유한 표본 유효성으로 보장한다.
• 이 방법은 기존의 순환 예측과 같은 접근 방식의 핵심 제약을 뛰어넘어 비단조성 위험 함수에 대해 처음으로 유한 표본 보장을 제공한다.
• 다중 레이블 분류 작업에서, 위험 함수가 임계값 λ에 대해 비단조성이더라도, LTT는 10%의 거짓 발견률을 δ = 10%로 제어하는 데 성공했다.
• 인스턴스 세분화 작업에서는 교차합집합, 재현율, 커버리지 비율을 고신뢰도로 동시에 제어할 수 있으며, 객체 탐지 실험을 통해 이를 입증했다.
• 이론적 분석 결과, 방법은 최대 Δ(2n)개의 서로 다른 스왑 구성에 대한 유니온 바운드를 통해 제1종 오류율을 제어하며, 정규 분포에 가까운 농도 불등식과 라데이처르 대칭화를 통해 유도된 농도 경계를 활용한다.
• 컴퓨터 비전 및 표 형태 의료 데이터에 대한 실험 결과는 이 방법의 실용성과 강건성을 확인하였으며, 코드는 재현 가능성을 위해 공개되어 있다.