[논문 리뷰] Detecting Errors and Estimating Accuracy on Unlabeled Data with Self-training Ensembles

Jiefeng Chen, Frederick Liu외 4명|arXiv (Cornell University)|2021. 06. 29.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 반복적 모델 앙상블과 가짜 레이블링을 통해 레이블이 없는 테스트 데이터에서 모델 정확도를 동시 추정하고 오류를 탐지하는 자기학습 앙상블 프레임워크를 제안한다. 이는 검출 및 추정 성능을 향상시키기 위한 반복적 모델 앙상블과 가짜 레이블링을 사용한다. 이는 최첨단 성능을 달성하며, 기존 방법에 비해 추정 오차를 최소 70% 감소시키고 iWildCam에서 F1 스코어를 4.7% 향상시킨다.

ABSTRACT

When a deep learning model is deployed in the wild, it can encounter test data drawn from distributions different from the training data distribution and suffer drop in performance. For safe deployment, it is essential to estimate the accuracy of the pre-trained model on the test data. However, the labels for the test inputs are usually not immediately available in practice, and obtaining them can be expensive. This observation leads to two challenging tasks: (1) unsupervised accuracy estimation, which aims to estimate the accuracy of a pre-trained classifier on a set of unlabeled test inputs; (2) error detection, which aims to identify mis-classified test inputs. In this paper, we propose a principled and practically effective framework that simultaneously addresses the two tasks. The proposed framework iteratively learns an ensemble of models to identify mis-classified data points and performs self-training to improve the ensemble with the identified points. Theoretical analysis demonstrates that our framework enjoys provable guarantees for both accuracy estimation and error detection under mild conditions readily satisfied by practical deep learning models. Along with the framework, we proposed and experimented with two instantiations and achieved state-of-the-art results on 59 tasks. For example, on iWildCam, one instantiation reduces the estimation error for unsupervised accuracy estimation by at least 70% and improves the F1 score for error detection by at least 4.7% compared to existing methods.

연구 동기 및 목표

• 기본 진술 레이블이 없는 상황에서 레이블이 없는 테스트 데이터에서 모델 정확도를 추정하고 잘못 분류된 샘플을 탐지하는 과제를 해결하기 위해.
• 다양한 분포에서의 레이블이 없는 데이터가 필요 없이 분포 이동 상황에서도 작동하는 방법을 개발하기 위해.
• 약한, 실용적인 조건에서 앙상블 행동에 대한 정확도 추정 및 오류 탐지에 대해 증명 가능한 보장을 제공하기 위해.
• 전체 재표기 없이도 높은 위험 예측을 식별함으로써 비용 효율적인 모델 배포를 가능하게 하기 위해.

제안 방법

• 프레임워크는 사전 훈련된 모델과의 불일치를 기반으로 잘못 분류된 테스트 포인트를 식별하기 위해 모델 앙상블을 사용한다.
• 오류 탐지 성능을 향상시키기 위해 식별된 잘못 분류된 포인트에 대해 가짜 레이블을 할당하고 앙상블을 재훈련함으로써 자기학습을 적용한다.
• 레이블이 있는 데이터에 대한 표준 크로스 엔트로피와 가짜 레이블이 부여된 테스트 데이터에 대한 수정된 손실을 조합한 가중치 손실을 사용해 앙상블을 훈련한다.
• 예측 신뢰도를 향상시키고 오류 탐지 성능을 향상시키기 위해 임계값 설정을 통합한다.
• 사전 훈련된 모델이 잘 校정되지 않은 경우에도 강건성을 확보하기 위해 다양한, 잘 校정된 모델을 활용한다.
• 이론적 분석을 통해 약한 조건 하에서 정확한 정확도 추정과 신뢰할 수 있는 오류 탐지로 수렴하는 것을 보여준다.

실험 결과

연구 질문

• RQ1 기본 진술 레이블이 없는 상황에서, 기존의 진술 레이블에 접근할 수 없는 레이블이 없는 테스트 데이터에서 사전 훈련된 모델의 정확도를 정확하게 추정할 수 있는가?
• RQ2 동일한 프레임워크가 레이블이 없는 환경에서 개별 잘못 분류된 샘플을 효과적으로 탐지할 수 있는가?
• RQ3 분포 이동 또는 공변량 이동 상황에서도 이 프레임워크는 강력한 성능을 유지하는가?
• RQ4 실제 딥 러닝 가정 하에 정확도 추정 및 오류 탐지에 대해 이론적 보장은 무엇인가?
• RQ5 기존 접근법인 신뢰도 기반 추정, 도메인 불변 모델, 프록시 리스크 방법과 비교해 이 방법은 어떻게 다른가?

주요 결과

• iWildCam에서 기존 방법에 비해 추정 오차를 최소 70% 감소시켰다.
• 기존 접근법에 비해 iWildCam에서 오류 탐지 F1 스코어가 최소 4.7% 향상되었다.
• 이미지 및 텍스트 분류를 포함한 59개의 작업 전반에서 최첨단 성능을 달성했다.
• 제거 실험에서 임계값 설정이 성능을 떨어뜨리지 않아, 하이퍼파라미터 선택에 대해 강건함을 보였다.
• 앙상블 정확도가 기본 모델보다 낮을 경우(예: iWildCam에서)에도 모델 다양성 덕분에 여전히 우수한 성능을 보였다.
• 앙상블 체크 모델을 사용한 프록시 리스크의 변형보다 추정 오차가 낮고(F1 스코어: 0.023 vs. 0.081), F1 스코어가 높았다(0.881 vs. 0.852).