[논문 리뷰] Classification with Valid and Adaptive Coverage

Yaniv Romano, Matteo Sesia외 1명|arXiv (Cornell University)|2020. 06. 03.

Machine Learning and Data Classification참고 문헌 4인용 수 24

한 줄 요약

이 논문은 유한 표본에서의 여유 있는 커버리지 보장과 함께 조건부 커버리지 성능을 적응적으로 향상시키는 다중 분류를 위한 새로운 콫포멀 추론 방법을 제안한다. 클래스 확률 순위를 기반으로 한 맞춤형 적합도 점수를 도입함으로써, 이 방법은 어떤 블랙박스 분류기와도 호환되며, 예측 집합 크기와 조건부 커버리지 측면에서 기존 방법보다 뛰어나다. 특히 신경망과 같이 잘 校정된 모델에서 두각을 나타낸다.

ABSTRACT

Conformal inference, cross-validation+, and the jackknife+ are hold-out methods that can be combined with virtually any machine learning algorithm to construct prediction sets with guaranteed marginal coverage. In this paper, we develop specialized versions of these techniques for categorical and unordered response labels that, in addition to providing marginal coverage, are also fully adaptive to complex data distributions, in the sense that they perform favorably in terms of approximate conditional coverage compared to alternative methods. The heart of our contribution is a novel conformity score, which we explicitly demonstrate to be powerful and intuitive for classification problems, but whose underlying principle is potentially far more general. Experiments on synthetic and real data demonstrate the practical value of our theoretical guarantees, as well as the statistical advantages of the proposed methods over the existing alternatives.

연구 동기 및 목표

• 다중 분류 문제에 대해 유한 표본에서의 여유 있는 커버리지 보장을 보장하는 분류 방법을 개발하는 것.
• 기존의 hold-out 방법(예: 교차검증+와 재귀분할+)과 비교해 조건부 커버리지 성능을 향상시키는 것.
• 신경망과 랜덤 포레스트를 포함한 어떤 블랙박스 분류기와도 호환되는 유연한 프레임워크를 만드는 것.
• 통계적 타당성을 유지하면서도 예측 집합이 가능한 한 작게 유지되도록 보장하는 것.
• 특히 MNIST 데이터에서의 합성 및 실세계 데이터를 활용한 경험적 검증을 통해 방법의 성능을 검증하는 것.

제안 방법

• 클래스 확률 순위를 기반으로 한 새로운 적합도 점수를 도입하여 분류에 대해 직관적이고 강력한 성능을 발휘한다.
• 새로운 적합도 점수를 활용해 콕포멀 추론, 교차검증+, 재귀분할+를 분류 문제에 적응시킨다.
• 조건부 커버리지 하에서 최적의 크기로 도달하기 위해 일반화된 역함수를 활용해 랜덤화된 예측 집합을 구성한다.
• 예측 집합의 여유 있는 커버리지 보장을 보장하기 위해 홀드아웃 절차(예: CV+, 재귀분할+)를 활용해 校정한다.
• 실제로 타당성과 조건부 커버리지 수준을 평가하기 위해 데이터 분할 전략을 구현한다.
• 결정론적 및 랜덤화된 예측 집합을 모두 지원하며, 후자는 커버리지 제약 조건 하에서 크기를 최소화한다.

실험 결과

연구 질문

• RQ1 다중 분류를 위한 콕포멀 추론 방법을 설계할 수 있는가? 이는 유한 표본에서의 여유 있는 커버리지를 보장해야 한다.
• RQ2 이러한 방법을 어떻게 복잡한 데이터 분포에 적응시켜 조건부 커버리지 성능을 향상시킬 수 있는가?
• RQ3 새로운 적합도 점수는 기존 방법과 비교해 예측 집합 크기와 조건부 성능을 향상시킬 수 있는가?
• RQ4 이 방법은 신경망과 랜덤 포레스트를 포함한 다양한 분류기에서 타당성을 유지하는가?
• RQ5 이 방법은 예측 집합 크기와 조건부 커버리지 측면에서 오라클 수준의 성능을 어느 정도 근접할 수 있는가?

주요 결과

• MNIST 데이터에서 신경망 모델을 사용할 경우, 제안된 방법은 조건부 커버리지가 90%에 가까운 성능을 기록하며, CQC-RF와 HCC를 능가한다.
• 랜덤 포레스트를 사용할 경우, 모든 방법이 커버리지가 부족한 것으로 나타나 확률 캘리브레이션의 열악함이 드러나지만, 제안된 방법은 여전히 유효한 여유 있는 커버리지를 유지한다.
• 신경망을 사용할 경우, 제안된 방법은 CQC-RF와 HCC와 유사한 크기의 예측 집합을 생성하면서도 더 뛰어난 조건부 커버리지 성능을 달성한다.
• CV+는 강력한 조건부 커버리지 성능을 보이며, SC는 약간 낮지만 HCC, CQC, CQC-RF는 90%에 도달하지 못해 성능이 열등하다.
• 이 방법은 다양한 기반 모델에서 안정적인 성능을 보이며, 클래스 확률이 잘 校정된 경우 조건부 커버리지 향상이 두드러진다.
• https://github.com/msesia/arc 에서 제공되는 파이썬 패키지는 방법을 구현하고 모든 실험을 재현 가능하게 한다.