[논문 리뷰] Greedy Policy Search: A Simple Baseline for Learnable Test-Time Augmentation

Dmitry Molchanov, Alexander Lyzhov외 3명|arXiv (Cornell University)|2020. 02. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 42

한 줄 요약

이 논문은 Greedy Policy Search (GPS)를 도입합니다. 이는 예측 성능, 불확실성 추정 및 강인성을 향상시키는 테스트 시간 증강 정책을 학습하는 간단한 방법으로, 전통적인 TTA 기반선들을 능가합니다.

ABSTRACT

Test-time data augmentation$-$averaging the predictions of a machine learning model across multiple augmented samples of data$-$is a widely used technique that improves the predictive performance. While many advanced learnable data augmentation techniques have emerged in recent years, they are focused on the training phase. Such techniques are not necessarily optimal for test-time augmentation and can be outperformed by a policy consisting of simple crops and flips. The primary goal of this paper is to demonstrate that test-time augmentation policies can be successfully learned too. We introduce greedy policy search (GPS), a simple but high-performing method for learning a policy of test-time augmentation. We demonstrate that augmentation policies learned with GPS achieve superior predictive performance on image classification problems, provide better in-domain uncertainty estimation, and improve the robustness to domain shift.

연구 동기 및 목표

• 테스트 시간 증강 정책을 학습하여 성능을 개선할 수 있음을 보여준다.
• 교정된 로그 가능도가 GPS의 결정적 목표임을 보여준다.
• 동일 도메인 내 정확도, 불확실성 추정 및 도메인 변화에 대한 강건성 측면에서 GPS를 평가한다.
• 아키텍처 및 데이터셋 간의 정책 전이 가능성을 조사한다.

제안 방법

• 일련의 이미지 변환을 적용하는 서브-정책들의 집합으로 테스트 시간 증강(TTA) 정책을 정의한다.
• 검증 세트에서 교정된 로그 가능도를 최대화하는 서브-정책을 점진적으로 추가하기 위해Greedy Policy Search(GPS)를 사용한다.
• 효율적인 선택을 가능하게 하기 위해 후보 서브-정책 풀에 대한 예측을 미리 계산한다.
• 일반적인 정확도나 보정되지 않은 LL 대신 온도 스케일링 후 교정된 로그 가능도(cLL)를 사용하여 최적화한다.
• 여러 아키텍처에 걸쳐 CIFAR-10/100 및 ImageNet에서 GPS를 시연하고 전이 가능성과 앙상블 효과를 평가한다.

실험 결과

연구 질문

• RQ1 학습 가능한 그리디 탐색으로의 테스트-타임 증강이 기존 TTA보다 더 나은 예측 성능을 낼 수 있는가?
• RQ2 교정된 로그 가능도가 정확도나 보정되지 않은 로그 가능도에 비해 TTA 정책 학습의 우수한 목표가 되는가?
• RQ3 GPS로 학습된 정책이 아키텍처와 데이터셋 간에 전이되며, 테스트 시간 증강 하에서 앙상블을 향상시킬 수 있는가?
• RQ4 도메인 시프트 및 손상된 데이터에서 GPS의 성능은 표준 TTA 방법과 비교하여 어떠한가?

주요 결과

지표	VGG (CIFAR-100)	ResNet110 (CIFAR-100)	WideResNet (CIFAR-100)
Acc(%)	81.17±0.15	83.01±0.18	85.71±0.10
LL	81.89±0.07	83.55±0.09	86.22±0.05
cLL	82.21±0.17	83.54±0.06	86.44±0.05

• GPS 정책은 기존 TTA, 학습 시간 정책 재사용, 그리고 그리드 탐색된 크기의 RandAugment를 능가한다.
• 교정된 로그 가능도 최적화는 모델 전체에 걸쳐 GPS의 정확도와 보정 신호를 향상시킨다.
• 깨끗한 데이터로 학습된 정책은 다양한 아키텍처와 더 큰 모델로 잘 전이되며 도메인 시프트 하에서 종종 베이스라인을 능가한다.
• GPS는 앙상블을 추가로 개선할 수 있어 단일 모델 TTA 개선을 넘어 이득을 제공한다.
• 학습된 TTA 정책은 손상 및 도메인 시프트에 대한 강건성을 제공하며 때로는 더 극단적인 증강으로부터 이득을 얻는다.