[논문 리뷰] Learning to Abstain via Curve Optimization.

Amr M. Alexandari, Avanti Shrikumar외 1명|arXiv (Cornell University)|2018. 02. 20.

Machine Learning and Data Classification참고 문헌 27인용 수 1

한 줄 요약

이 논문은 기계학습 모델에서 언제 기피할지를 학습하기 위한 새로운 곡선 최적화 접근법을 제안한다. 예산 제약 하에 기피할 테스트 예제 집합을 선택하여 유지된 예제에서 성능을 분석적으로 최대화한다. 이는 시각, 자연어 처리, 생물정보학 작업 전반에서 불확실성 기반 방법을 능가하며, 영향 함수를 사용한 새로운 진단 도구가 노이즈가 있는 데이터에 대한 강건성을 향상시킨다.

ABSTRACT

In practical applications of machine learning, it is often desirable to identify and abstain on examples where the a model's predictions are likely to be incorrect. We consider the problem of selecting a budget-constrained subset of test examples to abstain on, with the goal of maximizing performance on the remaining examples. We develop a novel approach to this problem by analytically optimizing the expected marginal improvement in a desired performance metric, such as the area under the ROC curve or Precision-Recall curve. We compare our approach to other abstention techniques for deep learning models based on posterior probability and uncertainty estimates obtained using test-time dropout. On various tasks in computer vision, natural language processing, and bioinformatics, we demonstrate the consistent effectiveness of our approach over other techniques. We also introduce novel diagnostics based on influence functions to understand the behavior of abstention methods in the presence of noisy training data, and leverage the insights to propose a new influence-based abstention method.

연구 동기 및 목표

• 고정된 기피 예산을 고려할 때 모델이 어떤 테스트 예제에서 기피해야 하는지 선택하는 문제를 해결하기 위해.
• AUC-ROC 및 AUPRC와 같은 핵심 지표를 최적화하여 남은 예제에서 모델 성능을 향상시키기 위해.
• 휴리스틱한 불확실성 기반 접근법보다 뛰어난 원칙적이고 분석적인 기피 방법을 개발하기 위해.
• 영향 함수를 사용하여 노이즈가 있는 학습 데이터 하에서 기피 방법의 행동을 진단하고 이해하기 위해.
• 진단 분석에서 도출된 통찰에 기반한 새로운 영향 기반 기피 방법을 제안하기 위해.

제안 방법

• 기피 결정을 각 테스트 예제에 대한 성능 지표(예: AUC-ROC)의 기대 경계 증가량에 대한 최적화 문제로 공식화한다.
• 특정 예제에서 기피함으로써 성능 지표 향상의 기대값을 분석적으로 유도하여 샘플링 없이 직접 최적화할 수 있도록 한다.
• 영향 함수를 사용해 학습 데이터 포인트가 기피 결정에 미치는 영향을 분석하여 노이즈가 있는 예제에 대한 모델 민감도를 드러낸다.
• 모델 예측과 성능 지표에 대한 영향을 기반으로 예제를 선택하는 새로운 영향 기반 기피 전략을 도입한다.
• 이 방법은 딥러닝 모델에 적용되며, 불확실성 추정을 위해 테스트 타임 드롭아웃을 사용하여 평가된다.
• 기피 예산에 제약을 두어 실용적인 구현이 가능하도록 최적화가 수행된다.

실험 결과

연구 질문

• RQ1 성능을 최대화하기 위해 예산 제약 하에 기피할 테스트 예제의 부분집합을 최적으로 선택할 수 있는가?
• RQ2 성능 지표 향상에 대한 분석적 최적화가 불확실성 기반 휴리스틱보다 더 나은 기피 결정을 이끌 수 있는가?
• RQ3 노이즈가 있는 학습 데이터 하에서 기피 방법은 어떻게 행동하는가? 영향 함수는 이들의 강건성을 진단하고 향상시키는 데 도움이 될 수 있는가?
• RQ4 영향 기반 진단은 새로운 더 효과적인 기피 전략을 이끌 수 있는가?
• RQ5 제안된 곡선 최적화 방법은 다양한 기계학습 작업에서 일관되게 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 곡선 최적화 방법은 컴퓨터 비전, 자연어 처리, 생물정보학 벤치마크 전반에서 불확실성 기반 기피 기법을 일관되게 능가한다.
• 기본 방법들인 사후 확률 또는 드롭아웃 기반 불확실성 사용과 비교해 유지된 예제에서 더 높은 AUC-ROC와 AUPRC를 달성한다.
• 영향 함수 진단을 통해 기존 기피 방법이 특히 높은 영향을 미치는 예제들에 민감하게 반응하는 것으로 드러났다.
• 진단 분석에서 도출된 영향 기반 기피 방법은 노이즈가 있는 데이터 하에서도 향상된 강건성과 성능을 보였다.
• 분석적 최적화 접근법은 반복적 또는 샘플링 기반 근사가 필요 없이 효율적이고 확장 가능한 기피 결정을 가능하게 한다.
• 이 방법의 성능 향상은 다양한 데이터셋과 모델 아키텍처에서 일관되게 나타나, 광범위한 적용 가능성을 시사한다.