[논문 리뷰] Active Testing: Sample-Efficient Model Evaluation

Jannik Kossen, Sebastian Farquhar외 2명|arXiv (Cornell University)|2021. 03. 09.

Machine Learning and Algorithms참고 문헌 53인용 수 14

한 줄 요약

이 논문은 모델 평가를 위한 샘플 효율적인 프레임워크인 액티브 테스팅(active testing)을 소개한다. 이는 정확한 성능 추정을 위해 가장 정보가 많은 테스트 포인트를 적극적으로 선택하여 레이블 수를 줄인다. 작업에 특화된 할당 함수를 유도하고 LURE 추정기로 선택 편향을 보정함으로써, 작은 레이블 예산 조건에서도 랜덤 샘플링보다 훨씬 더 정확한 테스트 손실과 정확도 추정을 달성한다.

ABSTRACT

We introduce a new framework for sample-efficient model evaluation that we call active testing. While approaches like active learning reduce the number of labels needed for model training, existing literature largely ignores the cost of labeling test data, typically unrealistically assuming large test sets for model evaluation. This creates a disconnect to real applications, where test labels are important and just as expensive, e.g. for optimizing hyperparameters. Active testing addresses this by carefully selecting the test points to label, ensuring model evaluation is sample-efficient. To this end, we derive theoretically-grounded and intuitive acquisition strategies that are specifically tailored to the goals of active testing, noting these are distinct to those of active learning. As actively selecting labels introduces a bias; we further show how to remove this bias while reducing the variance of the estimator at the same time. Active testing is easy to implement and can be applied to any supervised machine learning method. We demonstrate its effectiveness on models including WideResNets and Gaussian processes on datasets including Fashion-MNIST and CIFAR-100.

연구 동기 및 목표

• 실제 머신러닝 응용에서 테스트 레이블이 학습 레이블만큼 비용이 많이 들기 때문에, 테스트 데이터 레이블링의 높은 비용을 해결하기 위해.
• 학습 데이터에 대한 액티브 러닝과 테스트 데이터에 대한 모델 평가 간의 샘플 효율성 격차를 메우기 위해, 이는 오랫동안 간과되어 왔다.
• 딥 네ural 네트워크와 베이지안 모델을 포함한 모든 지도 학습 모델에 적용 가능한 일반적이고 원칙적인 액티브 테스팅 프레임워크를 개발하기 위해.
• 특히 과신하는 모델에서 오차를 과대평가하는 경향이 있는, 테스트 포인트를 능동적으로 선택함으로써 발생하는 편향을 보정하기 위해.
• 액티브 테스팅이 정확한 성능 추정을 위해 필요한 테스트 레이블 수를 크게 줄일 수 있음을 입증하기 위해, 이는 더 큰 테스트 세트를 사용한 랜덤 샘플링의 정밀도를 도달하거나 초월한다.

제안 방법

• 모델 성능 추정을 위해 필요한 레이블 수를 최소화하기 위해 가장 정보가 많은 테스트 포인트를 선택하는 액티브 테스팅 프레임워크를 제안한다.
• 평가를 위한 목적에 맞게 설계된 예측 엔트로피와 기대 손실 기반의 분류 및 회귀 과제에 특화된 할당 함수를 유도한다.
• 원본 모델의 불확실성과 오차를 포착하기 위해, 정확도를 향상시키기 위한 서rogate 모델을 도입하며, 앙상블을 통해 다양성과 정밀도를 향상시킨다.
• 선택 편향을 보정하기 위해 LURE(Loss-Unbiased Risk Estimator) 가중치 기반 방식을 적용하여 편향이 없고 분산이 낮은 성능 추정을 보장한다.
• 몬테카를로 샘플링을 사용해 테스트 손실 및 기타 평가 지표를 추정하며, 추정기 분산을 줄이기 위해 가장 정보가 많은 포인트를 우선순위로 정한다.
• 이중 단계 접근법을 사용한다: 첫 번째 단계에서는 원본 모델 또는 서rogate 모델을 사용해 후보 테스트 포인트를 평가하고, 두 번째 단계에서는 반복적으로 레이블을 부여하고 서rogate 모델을 업데이트하여 향후 선택을 정교화한다.

실험 결과

연구 질문

• RQ1 액티브 테스팅을 통해 테스트 데이터를 선택함으로써, 편향을 유발하지 않고도 정확한 모델 평가를 위해 필요한 레이블 수를 줄일 수 있는가?
• RQ2 평가의 목적이 학습과 다를 때, 액티브 테스팅에 사용되는 할당 함수는 액티브 러닝에서 사용되는 것과 어떻게 다를 수 있는가?
• RQ3 원본 모델에만 의존하는 것과 비교해, 서rogate 모델을 사용함으로써 액티브 테스팅의 정확도와 효율성이 얼마나 향상되는가?
• RQ4 액티브 테스팅에서 발생하는 편향은 효과적으로 보정될 수 있으며, 이 보정이 더 신뢰할 수 있는 성능 추정으로 이어지는가?
• RQ5 실제 적용에서 서rogate 모델의 정밀도와 다양성은 액티브 테스팅 성능에 어떤 영향을 미치는가?

주요 결과

• 액티브 테스팅은 패션-MNIST와 CIFAR-100에서 랜덤 샘플링 대비 최대 50%까지 필요한 테스트 레이블 수를 줄이며, 동일한 정확도 수준의 추정을 달성한다.
• 예측 엔트로피 기반 할당 함수가 상호정보량보다 액티브 테스팅에서 더 우수한 성능을 보이며, 상호정보량은 액티브 러닝에 더 적합하고 기대 손실을 목표로 하지 않는다.
• LURE 추정기는 선택 편향을 효과적으로 제거하여, 특히 과신하는 모델에서 테스트 손실을 과대평가하는 것을 방지하고 추정기 분산을 줄인다.
• 특히 딥 앙상블 서rogate 모델은 액티브 테스팅 성능을 크게 향상시키며, 정밀도와 다양성의 향상이 모두 더 높은 샘플 효율성에 기여한다.
• 새로운 레이블을 확보할수록 서rogate 모델을 재학습하면 성능이 향상되지만, 심지어 재학습하지 않은 서rogate 모델조차도 오직 원본 모델의 불확실성에 의존하는 난이도 전략보다도 뛰어난 성능을 보인다.
• 이 프레임워크는 다양한 모델에 대해 일반적이고 효과적이며, 와이드레즈넷, 베이지안 신경망, 가우시안 프로세스, 랜덤 포레스트 등 분류 및 회귀 과제 모두에서 성능을 발휘한다.