[논문 리뷰] Adversarial AutoAugment

Xinyu Zhang, Qiang Wang외 2명|arXiv (Cornell University)|2019. 12. 24.

Advanced Neural Network Applications참고 문헌 4인용 수 88

한 줄 요약

이 논문은 대상 네트워크 학습 중에 동적으로 증강 정책을 생성하는 대립적(적대적) 증강 정책 네트워크를 도입하여 정책 평가를 위해 계산을 재활용하고 비용을 크게 줄이는 동시에 CIFAR와 ImageNet에서 정확도를 높인다.

ABSTRACT

Data augmentation (DA) has been widely utilized to improve generalization in training deep neural networks. Recently, human-designed data augmentation has been gradually replaced by automatically learned augmentation policy. Through finding the best policy in well-designed search space of data augmentation, AutoAugment can significantly improve validation accuracy on image classification tasks. However, this approach is not computationally practical for large-scale problems. In this paper, we develop an adversarial method to arrive at a computationally-affordable solution called Adversarial AutoAugment, which can simultaneously optimize target related object and augmentation policy search loss. The augmentation policy network attempts to increase the training loss of a target network through generating adversarial augmentation policies, while the target network can learn more robust features from harder examples to improve the generalization. In contrast to prior work, we reuse the computation in target network training for policy evaluation, and dispense with the retraining of the target network. Compared to AutoAugment, this leads to about 12x reduction in computing cost and 11x shortening in time overhead on ImageNet. We show experimental results of our approach on CIFAR-10/CIFAR-100, ImageNet, and demonstrate significant performance improvements over state-of-the-art. On CIFAR-10, we achieve a top-1 test error of 1.36%, which is the currently best performing single model. On ImageNet, we achieve a leading performance of top-1 accuracy 79.40% on ResNet-50 and 80.00% on ResNet-50-D without extra data.

연구 동기 및 목표

• 학습 중에 적응하는 효율적인 데이터 증강을 통해 고정 정책이 아닌 동적 증강의 필요성을 제시한다.
• 대립적, 온라인 프레임워크에서 대상 네트워크 학습과 증강 정책 탐색을 공동으로 최적화한다.
• 정책 평가를 위한 대상 네트워크 학습 계산을 재사용하여 계산 비용을 줄인다.
• 추가 데이터 없이 CIFAR-10/100 및 ImageNet에서 최첨단 성능을 시연한다.

제안 방법

• 증강 정책 네트워크(RNN 컨트롤러)가 학습 손실을 최대화하도록 적대적 증강 정책을 생성하는 미니맥스 게임을 형식화한다.
• 정책 특화 손실을 보상으로 사용하여 입력당 다수의 증강 인스턴스로 구성된 대규모 배치에서 대상 네트워크를 훈련한다.
• 정책 네트워크를 훈련하기 위해 REINFORCE를 사용하고, 기울기 분산을 줄이기 위해 이동평균 기반선을 사용한다.
• AutoAugment 검색 공간을 16개의 연산과 10개의 크기 수준으로 확장하고 정책당 5개의 하위정책으로 구성한다.
• 정책을 평가하기 위해 대상 네트워크 학습에서의 계산을 재사용하여 각 정책마다 대상 네트워크를 재학습하지 않는다.
• 훈련 에폭에 걸쳐 정책을 동적으로 적용하고, 학습이 진행됨에 따라 변환 난이도를 높인다.

실험 결과

연구 질문

• RQ1 적대적으로 학습된 증강 정책이 고정되거나 무작위로 샘플링된 정책보다 일반화를 더 효율적으로 개선할 수 있는가?
• RQ2 온라인, 동적 전체 데이터 세트 정책 탐색이 프록시 작업 AutoAugment에 비해 계산 비용을 줄이는가?
• RQ3 대립적 증강 정책이 추가 데이터 없이 CIFAR-10/100 및 ImageNet에서 성능을 개선하는가?

주요 결과

• CIFAR-10에서 PyramidNet+ShakeDrop으로 상위 1위 테스트 오류 1.36%를 달성하여 이전 최첨단을 넘어섰다.
• CIFAR-10/100에서 우리의 방법은 Wide-ResNet-28-10, Shake-Shake 변형, PyramidNet+ShakeDrop 등 여러 모델에서 AutoAugment 및 PBA를 지속적으로 능가했다.
• ImageNet에서 ResNet-50에서 상위 1% 정확도 79.40%, ResNet-50-D에서 80.00%를 달성하여 AutoAugment를 능가했다.
• ImageNet에서 ResNet-50에 대해 대립적 정책으로 학습할 경우 AutoAugment 대비 약 12배의 계산 비용 감소, 약 11배의 시간 오버헤드 감소를 보였다.
• 전이 가능성: 학습된 정책은 데이터셋/아키텍처 간 전이 시 경쟁력 있는 성능을 보였으나 정책 전이는 일반적으로 공동 학습에 비해 덜 효과적이었다.