[논문 리뷰] Meta Approach to Data Augmentation Optimization

Ryuichiro Hataya, Jan Zdenek외 2명|arXiv (Cornell University)|2020. 06. 14.

Advanced Neural Network Applications참고 문헌 28인용 수 6

한 줄 요약

이 논문은 ImageNet에서 프oxy 작업이나 검색 공간 축소 없이 직접적이고 확장 가능한 최적화를 가능하게 하는, 음성 시리즈를 활용한 은닉 기울기 근사 방법인 MADAO를 제안한다. MADAO는 경사 기반 방법으로 깊이 신경망과 데이터 증강 정책을 함께 최적화하며, ImageNet 및 세밀 분류 데이터셋을 포함한 여러 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다. AutoAugment 및 RandAugment과 같은 이전 방법들보다 일관된 성능 향상을 보인다.

ABSTRACT

Data augmentation policies drastically improve the performance of image recognition tasks, especially when the policies are optimized for the target data and tasks. In this paper, we propose to optimize image recognition models and data augmentation policies simultaneously to improve the performance using gradient descent. Unlike prior methods, our approach avoids using proxy tasks or reducing search space, and can directly improve the validation performance. Our method achieves efficient and scalable training by approximating the gradient of policies by implicit gradient with Neumann series approximation. We demonstrate that our approach can improve the performance of various image classification tasks, including ImageNet classification and fine-grained recognition, without using dataset-specific hyperparameter tuning.

연구 동기 및 목표

• 기존의 데이터 증강 최적화 방법이 프록시 작업이나 검색 공간 축소에 의존하는 한계를 해결하기 위해.
• 모델 가중치와 증강 정책을 함께 기울기 강하를 통해 직접적이고 종단 간 최적화할 수 있도록 하기 위해.
• ImageNet과 같은 대규모 데이터셋에 대해 기하급수적인 계산 비용 없이 이중 최적화를 스케일링하기 위해.
• 세밀 분류 및 자기지도 학습을 포함한 다양한 이미지 인식 작업에서 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• MADAO는 데이터 증강 최적화를 이중 최적화 문제로 설정하여, 모델 가중치와 증강 정책 파라미터를 동시에 최적화한다.
• 내부 최적화 루프를 통한 역전파나 헤시안 역행렬 계산이 필요 없도록 은닉 기울기 근사를 사용한다.
• 노이만 급수 근사를 적용하여 검증 손실이 증강 정책 파라미터에 대해 기울기를 효율적으로 추정한다.
• 최소한의 계산 및 메모리 오버헤드로 표준 학습 파이프라인에 원활하게 통합된다.
• 근사된 은닉 기울기를 사용하여 기울기 강하를 통해 정책을 업데이트하며, 검증 성능을 직접 최적화한다.
• 프록시 작업과 검색 공간 축소를 피함으로써 증강 공간의 전체 탐색이 가능해진다.

실험 결과

연구 질문

• RQ1 프록시 작업이나 검색 공간 축소 없이 딥 러닝 모델과 데이터 증강 정책을 함께 최적화할 수 있는가?
• RQ2 이중 최적화 데이터 증강 최적화에서 내부 최적화 루프를 통한 기울기 계산을 어떻게 효율적으로 수행할 수 있는가?
• RQ3 노이만 급수를 활용한 은닉 기울기 근사는 ImageNet과 같은 대규모 데이터셋에서 확장 가능한 학습을 가능하게 하는가?
• RQ4 통합 최적화가 세밀 분류 데이터셋을 포함한 다양한 이미지 분류 벤치마크에서 뛰어난 성능을 내는가?
• RQ5 MADAO는 데이터셋 특화 튜닝 없이 자기지도 학습 환경에서 성능 향상을 이룰 수 있는가?

주요 결과

• WideResNet-28-2를 사용할 때, CIFAR-10에서 MADAO는 테스트 오차율 4.6%를 달성하여 베이스라인(4.8%)과 AutoAugment(4.7%)를 모두 뛰어넘었다.
• CIFAR-100에서는 WideResNet-28-2를 사용해 오차율을 23.9%로 낮췄으며, 표준 베이스라인의 24.8%보다 우수했다.
• SVHN에서는 MADAO가 2.5%의 테스트 오차율을 기록하여 RandAugment(2.6%)를 뛰어나고, 베이스라인(2.9%)보다도 뛰어났다.
• ImageNet에서는 Supervised Learning 하에서 ResNet-50을 사용해 상위-1 정확도 23.0%를 달성했으며, 표준 베이스라인(23.7%)과 RandAugment(22.5%)보다 뛰어났다.
• 자기지도 학습 환경에서는 ImageNet에서 상위-1 오차율 39.6%를 기록했으며, RandAugment(39.6%)와 동일하고 표준 베이스라인(42.1%)보다 뛰어났다.
• 세밀 분류 데이터셋에서는 RandAugment 대비 오차율을 최대 3.0%포인트까지 낮췄으며, 예를 들어 Pet 데이터셋에서 15.0%에서 12.5%로 감소시켰다.