[논문 리뷰] When and Why Test-Time Augmentation Works

Divya Shanmugam, Davis Blalock외 2명|arXiv (Cornell University)|2020. 11. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 34

한 줄 요약

이 논문은 테스트 시 증강(TTA)이 언제 그리고 왜 모델 예측을 향상시키거나 악화시키는지 조사하며, 전체 정확도가 향상되더라도 TTA가 정확한 예측을 잘못 뒤바꾸는 경우가 있음을 드러낸다. 다양한 벤치마크에서 기존 TTA 방법보다 일관되게 슈퍼어리어를 달성하는 데이터, 모델 및 증강 특성에 적응하는 학습 기반 집계 방법을 제안한다.

ABSTRACT

Test-time augmentation (TTA)---the aggregation of predictions across transformed versions of a test input---is a common practice in image classification. In this paper, we present theoretical and experimental analyses that shed light on 1) when test time augmentation is likely to be helpful and 2) when to use various test-time augmentation policies. A key finding is that even when TTA produces a net improvement in accuracy, it can change many correct predictions into incorrect predictions. We delve into when and why test-time augmentation changes a prediction from being correct to incorrect and vice versa. Our analysis suggests that the nature and amount of training data, the model architecture, and the augmentation policy all matter. Building on these insights, we present a learning-based method for aggregating test-time augmentations. Experiments across a diverse set of models, datasets, and augmentations show that our method delivers consistent improvements over existing approaches.

연구 동기 및 목표

• 테스트 시 증강(TTA)이 모델 성능을 향상시키거나 악화시키는 조건를 이해하는 것.
• TTA가 전체 정확도가 향상되더라도 정확한 예측을 잘못 뒤바꾸는 이유를 규명하는 것.
• 학습 데이터 양, 모델 아키텍처, 증강 정책이 TTA 효과에 미치는 영향을 분석하는 것.
• 데이터 및 모델 특성에 적응하는 학습 기반 TTA 집계 방법을 개발하여 일관된 성능 향상을 이루는 것.

제안 방법

• 저자는 이론적 및 실증적 분석을 통해 증강이 유도하는 분포 이탈에 초점을 맞춰 TTA가 예측 정확성에 미치는 영향을 연구한다.
• 다양한 증강 정책이 모델 예측에 미치는 영향, 특히 정확한 예측이 잘못 뒤바뀌는 확률을 분석한다.
• 각 증강 입력의 예측을 조합하는 데 최적의 가중치를 학습하는 학습 기반 집계 방법을 제안한다.
• 입력 및 모델 특징을 기반으로 각 증강 예측의 신뢰도를 모델링하여 예측 오차를 최소화하도록 학습한다.
• 다양한 모델, 데이터셋 및 증강 정책을 대상으로 실험하여 방법의 강건성과 성능 향상을 검증한다.

실험 결과

연구 질문

• RQ1 테스트 시 증강이 언제 정확도를 향상시키거나 악화시키는가?
• RQ2 전체 정확도가 향상되더라도 TTA가 왜 때로 정확한 예측을 잘못 뒤바꾸는가?
• RQ3 학습 데이터 크기, 모델 아키텍처, 증강 정책이 TTA 성능에 어떻게 상호작용하는가?
• RQ4 TTA 예측을 집계하는 데 있어 학습 기반 방법이 표준 평균화나 히우리스틱 가중치보다 우수한가?

주요 결과

• TTA는 전체 정확도를 향상시킬 수 있지만 동시에 많은 정확한 예측을 잘못 뒤바꾸는 경우가 있어, 예측 신뢰도 측면에서의 상충관계를 보여준다.
• 예측이 뒤바뀌는 확률은 모델의 자신감, 데이터 분포 및 적용된 특정 증강에 따라 달라진다.
• 작은 데이터셋으로 훈련된 모델은 특히 공격적인 증강을 적용받을 경우 잘못된 뒤바꿈에 더 취약하다.
• 제안된 학습 기반 집계 방법은 평가된 모든 모델과 데이터셋에서 기존 TTA 방법보다 일관되게 성능 향상을 이룬다.
• 이 방법은 정확도 향상 효과를 유지하거나 향상시키면서도 잘못된 뒤바꿈의 수를 효과적으로 줄였다.