[논문 리뷰] Practical Adversarial Multivalid Conformal Prediction

Osbert Bastani, Varun Gupta외 4명|arXiv (Cornell University)|2022. 06. 02.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 보조 캘리브레이션 세트가 필요 없이도, 경계값과 임의의 중첩 가능한 특성 부분집합에 조건부로도 정확한 경험적 커버리지 보장을 제공하는 계산적으로 효율적인 공차 예측 방법인 MVP(MultiValid Prediction)를 소개한다. 이는 적대적 다중유효 커버리지(Adversarial Multivalid Coverage)를 달성하며, 분포 이동 상황에서도 기존 방법보다 예측 집합의 정보성과 임계값 캘리브레이션 성능에서 뛰어나다.

ABSTRACT

We give a simple, generic conformal prediction method for sequential prediction that achieves target empirical coverage guarantees against adversarially chosen data. It is computationally lightweight -- comparable to split conformal prediction -- but does not require having a held-out validation set, and so all data can be used for training models from which to derive a conformal score. It gives stronger than marginal coverage guarantees in two ways. First, it gives threshold calibrated prediction sets that have correct empirical coverage even conditional on the threshold used to form the prediction set from the conformal score. Second, the user can specify an arbitrary collection of subsets of the feature space -- possibly intersecting -- and the coverage guarantees also hold conditional on membership in each of these subsets. We call our algorithm MVP, short for MultiValid Prediction. We give both theory and an extensive set of empirical evaluations.

연구 동기 및 목표

• 교환가능성 가정 없이도 보조 캘리브레이션 세트가 필요 없이도, 적대적 데이터 시퀀스 상에서 정확한 경험적 커버리지가 유지되는 공차 예측 방법을 개발하는 것.
• 커버리지 보장을 단순한 마진으로서가 아니라, 사용된 예측 임계값과 임의의 중첩 가능한 특성 부분집합(그룹)에 조건부로 유지하는 것.
• 모델의 사전 훈련이 가능하고 계산적으로 경량이며, 분류 및 회귀에 모두 적용 가능한 래퍼 형태로 적용 가능한 방법을 설계하는 것.
• 단순한 마진 커버리지보다 더 강력한 통계적 보장을 확보하여, 극단적인 예측 집합을 통해 커버리지만 조작하는 무정보적 '도용 전략'을 피하는 것.

제안 방법

• MVP는 실시간으로 공차 점수에 적응하는 동적 임계값 설정 메커니즘을 사용하여, 모든 임계값과 그룹에 동시에 경험적 커버리지가 유지되도록 한다.
• 각 임계값과 그룹 조합에 대한 커버리지 실패 횟수를 실시간으로 누적하여, 목표 커버리지 비율을 충족시키기 위해 임계값을 동적으로 조정한다.
• 공차 점수의 범위를 m개의 캘리브레이션 버킷(예: m=40)으로 이산화하고, 각 버킷 내 커버리지 상태를 추적하여 다중유효 보장을 확보한다.
• 특성 공간 상에서 정의된 임의의 중첩 가능한 그룹을 지원하여, 인구통계학적, 임상적 또는 사용자가 지정한 기타 부분집합에 대해 조건부 커버리지가 가능하다.
• 분리된 훈련 및 캘리브레이션 데이터가 필요 없어, 모든 데이터를 모델 훈련에 활용할 수 있으며, 이는 분할 공차 예측과는 다릅니다.
• 모든 임계값 q에 대해, q_t = q일 때 y_t가 커버되는 비율이 1−δ로 수렴하도록 하여 임계값 캘리브레이션을 달성한다.

실험 결과

연구 질문

• RQ1 보조 캘리브레이션 세트가 필요 없이도, 임계값과 임의의 특성 부분집합에 동시에 조건부로 다중유효 커버리지를 달성할 수 있는 공차 예측 방법이 존재하는가?
• RQ2 기존 공차 예측이 실패하는 적대적 또는 비교환가능한 순차적 데이터 환경에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ3 이 방법은 극단적인 예측 집합을 통해 커버리지를 조작하는 무정보적 예측 전략을 어느 정도 피할 수 있는가?
• RQ4 실제로 기존 최첨단 공차 예측 방법들과 비교했을 때, 이 방법은 예측 집합 크기와 커버리지 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• MVP는 30,000장의 ImageNet 검증 세트에서 마진 커버리지 0.902133을 달성하여, RAPS의 0.90523과 유사한 성능을 보이며, i.i.d. 환경에서의 경쟁력 있는 성능을 입증한다.
• 유사한 마진 커버리지 수준을 유지함에도 불구하고, MVP의 평균 예측 집합 크기(2.13986)는 RAPS의(2.0506)와 비슷하여 실용적 효율성이 뛰어나다.
• 합성 증가 점수 시퀀스에서 MVP의 평균 예측 집합 폭은 0.526이었고, ACI는 1.839였으며, 이는 MVP가 훨씬 더 정보적인 간격을 생성함을 보여준다.
• ACI의 임계값은 거의 항상 최대값(1)이었으며, 이는 빈번히 비정보적인 예측 집합을 사용했음을 의미한다. 반면 MVP의 임계값은 실제 점수 시퀀트를 정확히 따라가며, 임계값 캘리브레이션을 유지한다.
• MVP의 임계값은 안정적이고 정보적이며, ACI가 보이는 대부분의 라운드에서 전체 집합을 예측하는 '도용 전략'을 피한다.
• 이 방법은 적대적 데이터 시퀀스 하에서도 다중유효 커버리지를 유지하며, 시간 시리즈나 비교환가능한 데이터를 포함한 임의의 분포 이동에 대해 강건함을 입증한다.