[논문 리뷰] Achieving Risk Control in Online Learning Settings

Shai Feldman, Ringel, Liran외 2명|arXiv (Cornell University)|2022. 05. 18.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 온라인 학습 모델이 임의의 데이터 분포 이탈(심지어 적대적인 이탈일 수도 있음) 하에서도 예측 집합의 위험을 증명 가능하게 제어할 수 있도록 하는 새로운 프레임워크인 롤링 리스크 제어(Rolling RC)를 소개한다. 이는 커버리지, 거짓 음성 비율 또는 F1 점수와 같은 위험 지표를 제어할 수 있도록 한다. 일반화된 적응형 콫라스티프 인퍼런스를 임의의 손실 함수로 확장함으로써, 최소한의 계산 오버헤드와 기존 온라인 학습 모델에 추가적인 구현 비용 없이도 사용자가 지정한 수준에서 리스크 제어를 보장한다.

ABSTRACT

To provide rigorous uncertainty quantification for online learning models, we develop a framework for constructing uncertainty sets that provably control risk -- such as coverage of confidence intervals, false negative rate, or F1 score -- in the online setting. This extends conformal prediction to apply to a larger class of online learning problems. Our method guarantees risk control at any user-specified level even when the underlying data distribution shifts drastically, even adversarially, over time in an unknown fashion. The technique we propose is highly flexible as it can be applied with any base online learning algorithm (e.g., a deep neural network trained online), requiring minimal implementation effort and essentially zero additional computational cost. We further extend our approach to control multiple risks simultaneously, so the prediction sets we generate are valid for all given risks. To demonstrate the utility of our method, we conduct experiments on real-world tabular time-series data sets showing that the proposed method rigorously controls various natural risks. Furthermore, we show how to construct valid intervals for an online image-depth estimation problem that previous sequential calibration schemes cannot handle.

연구 동기 및 목표

• 분포 이탈 하에서 온라인 학습의 엄밀한 불확실성 정량화의 부족을 해결하기 위해.
• 커버리지 이외의 임의의 리스크 지표(예: 거짓 음성 비율 또는 F1 점수)를 제어할 수 있도록 콥라스티프 인퍼런스를 확장하기 위해.
• 데이터 분포에 대한 가정 없이도 사용자가 지정한 수준에서 리스크 제어를 보장하는 방법을 개발하기 위해.
• 온라인 예측 설정에서 다중 리스크를 동시에 제어할 수 있도록 하기 위해.
• 모든 온라인 학습 알고리즘(딥 뉴럴 네트워크 포함)과 호환되며, 계산 비용이 극히 낮은 플러그 앤 플레이 솔루션을 제공하기 위해.

제안 방법

• 예측 집합에 대한 순차 최적화 문제로 리스크 제어를 공식화하며, 모델 신뢰도에 따라 예측 집합 크기를 조정하기 위해 校정된 스트레칭 함수를 사용한다.
• 기반으로 적응형 콩그라스티프 인퍼런스(ACI)를 사용하지만, 리스크 인식 conformity 점수를 도입함으로써 임의의 손실 함수로 일반화한다.
• 핵심 메커니즘은 사용자가 지정한 리스크 수준 $r$을 충족시키기 위해 시간에 따라 변하는 校정 계수 $\varphi(\theta_t)$를 사용하여 예측 집합 경계를 조정하는 것이다.
• 회귀의 경우, $\tau_t = \varphi(\theta_t)$를 통해 분위수 수준을 조정함으로써 간격 너비를 동적으로 제어한다.
• 분류의 경우, 클래스 확률을 순서대로 정렬하고 누적 점수가 $1 - \varphi(\theta_t)$를 초과할 때까지 레이블을 포함하여 예측 집합을 구성한다.
• 논문은 정리 1에서 보여주듯이, 적대적인 분포 이탈 하에서도 목표 리스크 수준으로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 온라인 학습에서 임의의 리스크 지표(예: 커버리지 실패 비율 또는 거짓 음성 비율)를 증명 가능하게 제어할 수 있는 예측 집합을 구성할 수 있는가?
• RQ2 온라인 환경에서 임의의, 심지어 적대적인 데이터 분포 이탈 하에서도 리스크 제어를 유지할 수 있는가?
• RQ3 이 방법은 계산 및 구현 오버헤드를 최소화하면서도 모든 온라인 학습 알고리즘에 적용할 수 있는가?
• RQ4 온라인 예측 환경에서 다중 리스크 지표(예: 커버리지와 F1)를 동시에 제어할 수 있는가?
• RQ5 기존 순차적 校정 방법이 실패하는 경우, 예를 들어 이미지 수준의 깊이 맵과 같은 복잡한 구조적 출력을 다룰 수 있는가?

주요 결과

• 롤링 RC 프레임워크는 임의의 데이터 분포 이탈, 심지어 적대적인 이탈 하에서도 사용자가 지정한 수준 $r$에서 리스크 제어를 보장한다. 이는 정리 1에 의해 공식화되어 있다.
• 이 방법은 데이터 분포에 대한 가정 없이도 유효한 리스크 제어를 달성하며, 기존 온라인 학습 모델에 최소한의 수정만으로도 가능하다.
• 실제 타뷸라 타임시리즈 데이터에 대한 실험 결과, 롤링 RC는 다양한 데이터 분포에서 커버리지, 커버리지 실패 비율, 거짓 음성 비율을 엄밀히 제어하는 것으로 나타났다.
• 이 프레임워크는 이전의 순차적 校정 방법이 실패하는 온라인 이미지 깊이 추정 작업에 대해 유효한 예측 간격을 성공적으로 구성하였다.
• 주중의 요일별로도 낮은 $\Delta$-커버리지(조건부 커버리지의 대체 지표)를 유지하여 시간적 서브집단 이탈에 대한 강건성을 보였다.
• 비유계 손실($\texttt{MC}' = \min\{\texttt{MC}, B\}$)의 경계 버전을 사용함으로써 수렴이 보장되며, 비록 비유계 버전이 실질적으로도 잘 작동한다.