[논문 리뷰] Online Hyper-parameter Learning for Auto-Augmentation Strategy

Chen Lin, Minghao Guo외 6명|arXiv (Cornell University)|2019. 05. 17.

Advanced Neural Network Applications참고 문헌 35인용 수 9

한 줄 요약

이 논문은 이중 프레임워크를 통해 신경망 가중치와 함께 공동으로 최적화되는 학습 가능한 확률 분포로 데이터 증강 정책을 공식화하는 온라인 하이퍼파라미터 학습(Online Hyper-parameter Learning for Auto-Augmentation, OHL-Auto-Aug)을 제안한다. 오프라인 검색이나 재학습 없이 온라인으로 종단 간 학습을 가능하게 함으로써, CIFAR-10에서는 Auto-Augment 대비 60배 빠르고 ImageNet에서는 24배 빠르게 검색을 수행하면서도 최신 기준 성능에 도달하거나 초월한다.

ABSTRACT

Data augmentation is critical to the success of modern deep learning techniques. In this paper, we propose Online Hyper-parameter Learning for Auto-Augmentation (OHL-Auto-Aug), an economical solution that learns the augmentation policy distribution along with network training. Unlike previous methods on auto-augmentation that search augmentation strategies in an offline manner, our method formulates the augmentation policy as a parameterized probability distribution, thus allowing its parameters to be optimized jointly with network parameters. Our proposed OHL-Auto-Aug eliminates the need of re-training and dramatically reduces the cost of the overall search process, while establishes significantly accuracy improvements over baseline models. On both CIFAR-10 and ImageNet, our method achieves remarkable on search accuracy, 60x faster on CIFAR-10 and 24x faster on ImageNet, while maintaining competitive accuracies.

연구 동기 및 목표

• 오프라인 자동 증강 검색의 높은 계산 비용 문제를 해결하기 위해, 축소된 데이터셋에서 수천 개의 정책을 훈련해야 하는 문제를 해결한다.
• 증강 정책 검색 중에 재학습이 필요로 하지 않도록 하기 위해, 정책 학습을 메인 훈련 루프에 통합한다.
• CIFAR-10과 같은 대규모 데이터셋에서 데이터 서브샘플링 없이도 효율적이고 확장 가능한 자동 증강을 가능하게 한다.
• 실시간으로 네트워크 훈련 중에 진화하는 미분 가능한 하이퍼파라미터로 데이터 증강 정책을 최적화한다.

제안 방법

• 증강 정책을 매개변수화된 확률 분포로 공식화하며, 이 매개변수들을 최적화해야 할 하이퍼파라미터로 간주한다.
• 이중 최적화 프레임워크를 도입한다: 내부 루프는 SGD를 통해 표준 훈련 손실을 최소화하고, 외부 루프는 REINFORCE 기반 기울기를 사용해 검증 정확도를 최대화한다.
• 궤적 샘플링을 사용해 증강 정책 매개변수의 기울기를 추정함으로써, 훈련 중에 온라인 업데이트를 가능하게 한다.
• 각 시간 단계에서 가장 성능이 뛰어난 네트워크 가중치를 궤적 샘플 간에 브로드캐스트하여 정책 학습의 안정성을 높인다.
• 이산적인 증강 연산을 미분 가능한 연속적 매개변수화 방식으로 표현하여 기울기 기반 최적화를 가능하게 한다.
• 네트워크와 증강 정책 매개변수를 단일 통합 훈련 프로세스에서 종단 간으로 동시에 학습한다.

실험 결과

연구 질문

• RQ1 모델 훈련 중에 온라인으로 증강 정책을 학습시킬 수 있는가? 이는 오프라인 검색이 필요 없음을 의미한다.
• RQ2 네트워크 가중치와 함께 증강 정책 매개변수를 공동으로 최적화할 경우, 최종 모델 정확도와 훈련 효율성에 어떤 영향을 미치는가?
• RQ3 다양한 학습률과 궤적 샘플 수가 정책 수렴과 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 데이터 서브샘플링 없이 ImageNet과 같은 대규모 데이터셋에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• OHL-Auto-Aug는 CIFAR-10에서 Auto-Augment 대비 60배 빠르게 검색을 수행하고, ImageNet에서는 24배 더 빠르며, 동등하거나 더 높은 정확도를 달성한다.
• 데이터를 축소하지 않고 전체 데이터셋에서 훈련이 가능해져, 서브샘플링으로 인한 성능 편향을 방지한다.
• 증강 정책 분포는 훈련 도중 수렴하며, 데이터셋 특성에 따라 일부 연산은 폐기되고 다른 일부는 높은 확률을 확보한다.
• 학습률 $\eta_{\theta} = 5 \times 10^{-2}$ 가 수렴 속도와 성능 사이의 최적의 균형을 이룬다.
• 8개의 궤적 샘플을 사용할 경우 근사 최적의 성능를 달성하며, 그 이상으로는 근소한 성능 향상만을 보이며, 비용과 정확도의 균형을 잘 맞춘다.
• 학습된 증강 정책은 데이터셋에 따라 다르게 나타나며, 예를 들어 '컬러 반전'은 CIFAR-10에서는 폐기되고 ImageNet에서는 유지됨을 보여주며, 적응 가능성과 유연성을 입증한다.