[논문 리뷰] Classification Confidence Estimation with Test-Time Data-Augmentation

Yuval Bahat, Gregory Shakhnarovich|arXiv (Cornell University)|2020. 06. 30.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 8

한 줄 요약

이 논문은 분류 신뢰도 추정을 위한 새로운 테스트 시점 데이터 증강 방법을 제안한다. 이 방법은 입력 이미지에 의미를 유지하는 이미지 변환을 적용하고, 이러한 변환된 버전들에 대한 분류기의 출력을 종합하여 예측 신뢰도를 추정한다. 재학습 없이 ImageNet 및 기타 벤치마크에서 최고 성능을 달성하며, 시각 모델의 불확실성 추정을 위한 즉시 사용 가능한 솔루션을 제공한다.

ABSTRACT

Machine learning plays an increasingly significant role in many aspects of our lives (including medicine, transportation, security, justice and other domains), making the potential consequences of false predictions increasingly devastating. These consequences may be mitigated if we can automatically flag such false predictions and potentially assign them to alternative, more reliable mechanisms, that are possibly more costly and involve human attention. This suggests the task of detecting errors, which we tackle in this paper for the case of visual classification. To this end, we propose a novel approach for classification confidence estimation. We apply a set of semantics-preserving image transformations to the input image, and show how the resulting image sets can be used to estimate confidence in the classifier's prediction. We demonstrate the potential of our approach by extensively evaluating it on a wide variety of classifier architectures and datasets, including ResNext/ImageNet, achieving state of the art performance. This paper constitutes a significant revision of our earlier work in this direction (Bahat & Shakhnarovich, 2018).

연구 동기 및 목표

• 안전 중심 응용 분야에서 비용이 많이 드는 오분류를 방지하기 위해 시각 분류기에서 신뢰도 추정의 신뢰성을 확보하기 위한 필수적인 필요성 해결.
• 테스트 시점에 진정한 레이블에 접근할 수 없더라도 현장 특화 분류기 정확도를 추정하기 위해.
• 아키텍처 변경이나 내부 접근 권한 없이도 어떤 사전 학습된 분류기와도 작동하는 방법 개발.
• 국소 분포 불확실성의 대체 자료로 사용되는 변환된 이미지 세트를 활용하여 오류 탐지 성능 향상.
• 신뢰도 추정 평가의 해석 가능성과 정보성 향상을 위한 메트릭 개선 도입.

제안 방법

• 일반적인 입력 이미지에 의미를 유지하는 일련의 이미지 변환(예: 반전, 이동)을 적용하여 합성된 이미지 세트를 생성.
• 모든 변환된 이미지에 대한 분류기의 출력을 종합하여 진정한 레이블이 필요 없이 신뢰도 점수를 계산.
• 추가로 성능 향상을 위해 부트스트래핑 기법과 새로운 순위 알고리즘을 조합한 기법 제안.
• 변환된 이미지들 간의 예측을 가중 평균 또는 투표 방식을 사용해 종합하여 신뢰도 추정.
• 해석 가능성과 정보성 향상을 위한 개선된 평가 메트릭 도입.
• 기본 분류기의 재학습 또는 수정 없이 추론 시점에만 이 방법을 적용.

실험 결과

연구 질문

• RQ1 의미를 유지하는 변환을 사용한 테스트 시점 데이터 증강이 이미지 분류기의 신뢰도 추정을 향상시킬 수 있는가?
• RQ2 진정한 레이블에 접근할 수 없더라도 변환된 이미지 변형을 활용해 현장 특화 정확도를 추정할 수 있는가?
• RQ3 제안된 방법이 다양한 아키텍처와 데이터셋에서 기존 최고 성능 기법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 이 방법은 아키텍처 수정 없이도 어떤 사전 학습된 분류기와도 일반적으로 적용 가능한가?
• RQ5 제안된 신뢰도 추정 프레임워크는 불확실성 정량화와 전체 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• ResNeXt를 사용하여 ImageNet에서 최고 성능을 달성했으며, $D_{ ho}$ 세트에서 기존 최고 성능 대비 AUPR가 3.39% 향상되었다.
• ImageNet 탑-1 작업에서 BS($D_{ ho}$) 버전을 사용할 경우 AUROC가 50.8에서 58.1로 7.26점 향상되었다.
• STL-10에서 데이터 증강을 사용한 Wide-ResNet을 적용했을 경우 AORC가 75.8에서 79.7로 3.95% 향상되었다.
• 재학습 없이도 변환된 이미지의 앙상블을 고려함으로써 분류 정확도가 향상되었다.
• 제안된 메트릭 수정이 해석 가능성 향상과 더불어 더 정보적인 평가 결과를 이끌어냈다.
• 이 방법은 사전 학습된 분류기와 어떤 경우에도 일반적으로 적용 가능하며, 내부 접근 권한이나 재학습이 필요하지 않다.