[논문 리뷰] Learning Loss for Test-Time Augmentation

Ildoo Kim, Young-Hoon Kim외 1명|arXiv (Cornell University)|2020. 10. 22.

Advanced Neural Network Applications참고 문헌 55인용 수 38

한 줄 요약

논문은 인스턴스 인식 테스트 타임 증강(instance-aware test-time augmentation) 방법을 제안하며, 손실 예측 모듈을 사용해 각 테스트 입력에 대해 가장 가능성 높은 변환을 선택하고, 추가 비용을 최소화하며 강인성을 향상시킵니다. CIFAR-100-C와 ImageNet-C에서 표준 TTA 접근법보다 성능이 개선됩니다.

ABSTRACT

Data augmentation has been actively studied for robust neural networks. Most of the recent data augmentation methods focus on augmenting datasets during the training phase. At the testing phase, simple transformations are still widely used for test-time augmentation. This paper proposes a novel instance-level test-time augmentation that efficiently selects suitable transformations for a test input. Our proposed method involves an auxiliary module to predict the loss of each possible transformation given the input. Then, the transformations having lower predicted losses are applied to the input. The network obtains the results by averaging the prediction results of augmented inputs. Experimental results on several image classification benchmarks show that the proposed instance-aware test-time augmentation improves the model's robustness against various corruptions.

연구 동기 및 목표

• 강한 학습 시점 증강에도 불구하고 고정된 테스트 시점 증강 사용으로 인한 강인성 문제를 동기 부여한다.
• 실행 중 손실 예측에 기반해 테스트 시점 변환을 동적으로 선택하는 인스턴스 인식 프레임워크를 소개한다.
• 대상 네트워크와 분리된 소형 손실 예측 모듈을 사용해 효율성을 입증한다.
• CIFAR-100-C와 ImageNet-C에서 일반적인 손상 유형에 대한 강인성 향상을 평가한다.

제안 방법

• 중간 수준의 이산화된 변환 공간을 정의한다(회전, 확대/축소, 색상, 대비, 선명도).
• 입력을 주면 각 변환에 대한 상대 손실을 추정하기 위해 별도의 손실 예측 네트워크를 학습시킨다.
• 예상 손실을 실제 상대 손실과 상관시키도록 손실 예측기를 학습시키기 위해 순위 손실을 사용한다.
• 테스트 시점에, 예측된 손실이 가장 낮은 상위 k 개의 변환을 선택하고 이들로 변환된 입력에 대해 타깃 모델의 출력을 평균화한다.
• 추가 추론 비용을 피하기 위해 손실 예측기를 훈련하는 동안 타깃 네트워크를 고정한다.
• 전통적인 테스트 시점 증강과 탐욕적 정책 검색 방법과 비교한다.

실험 결과

연구 질문

• RQ1 인스턴스별 테스트 시점 증강이 고정된 TTA 정책을 넘어 손상에 대한 강인성을 향상시킬 수 있는가?
• RQ2 가벼운 손실 예측 모듈이 후보 변환에 대한 상대 손실을 얼마나 효과적으로 추정할 수 있는가?
• RQ3 상위-k 인스턴스 인식 증강의 계산 비용과 정확도 간의 트레이드오프는 무엇인가?
• RQ4 인스턴스 인식 증강이 보류된 손상에 일반화되고 클린 세트 성능을 유지하는가?

주요 결과

• 본 방법은 손상된 데이터셋에서 일관되게 강건성을 향상시키고 테스트 시 시간 비용을 최소화한다.
• k=1 또는 k=2 augmented inputs를 사용하면 Center-Crop, Horizontal-Flip, 5-Crops 베이스라인 대비 주목할 만한 이득을 얻는다.
• 이 접근법은 ImageNet-C에서 GPS 기반 정책 검색보다 더 나은 성능을 달성하면서도 계산 비용이 더 낮다.
• 손실 예측기는 작고 효율적이며 추론 오버헤드에 거의 기여하지 않는다.
• 이 접근법은 보류된 손상에 대한 일반화에서 일부 트레이닝 시 증강 기반 기준선보다 더 강한 일반화를 보인다.