[논문 리뷰] A Flexible and Adaptive Framework for Abstention Under Class Imbalance

Avanti Shrikumar, Amr M. Alexandari외 1명|arXiv (Cornell University)|2018. 02. 20.

Imbalanced Data Classification Techniques참고 문헌 37인용 수 7

한 줄 요약

이 논문은 AUC와 가중 카프라 코hen의 Kappa와 같은 핵심 불균형 데이터 지표에서의 성능을 최적화하기 위해 校정된 확률 추정치를 사용하는 융통성 있고 지표 인식(abstention) 프레임워크를 제안한다. 이러한 지표에 대한 기각의 영향을 모델링함으로써, 레이블 분포의 변화가 있는 테스트 분포로의 일반화를 가능하게 하는 도메인 적응 기반에서 효율적이고 적응형 기각 전략을 가능하게 한다.

ABSTRACT

In practical applications of machine learning, it is often desirable to identify and abstain on examples where the model's predictions are likely to be incorrect. Much of the prior work on this topic focused on out-of-distribution detection or performance metrics such as top-k accuracy. Comparatively little attention was given to metrics such as area-under-the-curve or Cohen's Kappa, which are extremely relevant for imbalanced datasets. Abstention strategies aimed at top-k accuracy can produce poor results on these metrics when applied to imbalanced datasets, even when all examples are in-distribution. We propose a framework to address this gap. Our framework leverages the insight that calibrated probability estimates can be used as a proxy for the true class labels, thereby allowing us to estimate the change in an arbitrary metric if an example were abstained on. Using this framework, we derive computationally efficient metric-specific abstention algorithms for optimizing the sensitivity at a target specificity level, the area under the ROC, and the weighted Cohen's Kappa. Because our method relies only on calibrated probability estimates, we further show that by leveraging recent work on domain adaptation under label shift, we can generalize to test-set distributions that may have a different class imbalance compared to the training set distribution. On various experiments involving medical imaging, natural language processing, computer vision and genomics, we demonstrate the effectiveness of our approach. Source code available at this https URL. Colab notebooks reproducing results available at this https URL.

연구 동기 및 목표

• 상위-k 정확도 외에 AUC와 카프라 코헨의 Kappa와 같은 핵심 지표를 최적화하는 기각 전략의 부족을 메우기 위해.
• 재학습이나 추론 시 진짜 레이블에 대한 접근이 필요 없이도 지표별 기각을 가능하게 하는 프레임워크를 개발하기 위해.
• 학습 데이터와 다른 클래스 불균형을 가진 테스트 분포로의 일반화를 위해 레이블 이동 적응을 사용하기 위해.
• 기각 하에서 민감도를 목표 특이도에서 최적화하고, AUC와 가중 카프라 코헨의 Kappa를 최적화하기 위한 계산적으로 효율적인 알고리즘 제공하기 위해.
• 의료 영상, 자연어 처리, 컴퓨터 비전, 유전체학 등 다양한 분야에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 기각했을 경우의 지표 변화를 추정하기 위해 진짜 클래스 레이블의 대체로 교정된 확률 추정치를 활용한다.
• 기각 시 기대 지표 향상도를 모델링하여 지표별 기각 정책을 수립함으로써 AUC, 가중 카프라 코헨의 Kappa, 고정된 특이도에서의 민감도 최적화를 가능하게 한다.
• 지표 변화의 미분 가능 근사치를 사용하여 각 지표에 대한 효율적이고 폐쇄형 해를 가진 기각 임계치를 유도한다.
• 레이블 이동 하에서 도메인 적응 기술을 통합하여 기각 정책을 학습 데이터와 다른 클래스 분포를 가진 테스트 세트에 적응시킨다.
• 기각 추론 시 지표 추정에 신뢰할 수 있는 대체치를 제공하기 위해 모델이 교정된 확률을 생성하도록 훈련한다.
• 진짜 레이블에 대한 접근이 필요 없이 예측 확률만으로도 프레임워크를 종단 간(end-to-end)으로 적용한다.

실험 결과

연구 질문

• RQ1 AUC와 가중 카프라 코헨의 Kappa를 최적화하는 기각 전략이 불균형 데이터 환경에서 상위-k 정확도 기반 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 기본적인 성능 지표에 적응하면서도 계산적으로 효율적인 기각은 어떻게 달성할 수 있는가?
• RQ3 한 개의 기각 프레임워크가 다양한 클래스 불균형을 가진 테스트 분포로 얼마나 잘 일반화될 수 있는가?
• RQ4 진짜 레이블이 없이도 교정된 확률이 기각 하에서 지표 변화를 신뢰성 있게 추정할 수 있는가?
• RQ5 제안된 프레임워크는 다양한 기계학습 분야에서 기존 기각 방법과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 프레임워크는 상위-k 정확도 기반 기각 전략보다 불균형 데이터 세트에서 AUC와 가중 카프라 코헨의 Kappa를 크게 향상시킨다.
• 레이블 이동 적응 덕분에 학습 데이터와 다른 클래스 분포를 가진 테스트 세트로의 일반화가 효과적으로 이루어진다.
• AUC와 가중 카프라 코헨의 Kappa를 위한 기각 정책은 모든 예측이 내부 분포(in-distribution)에 있는 경우에도 기준 방법보다 더 높은 지표 값을 달성한다.
• 프레임워크는 높은 계산 효율성을 유지하여 교정된 모델 출력만으로 실시간 기각 결정을 가능하게 한다.
• 의료 영상, 자연어 처리, 컴퓨터 비전, 유전체학 분야에서의 실험을 통해 다양한 데이터 모odal리티에서 일관된 성능 향상을 확인했다.
• 소스 코드와 Colab 노트북이 공개되어 있어 재현성과 프레임워크의 확장이 가능하다.