[논문 리뷰] A Simple Dynamic Learning Rate Tuning Algorithm For Automated Training of DNNs

Koyel Mukherjee, Alind Khare외 1명|arXiv (Cornell University)|2019. 10. 25.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 딥 네ural 네트워크 학습 중 현재 손실과 관측된 최고 손실을 비교하여 동적으로 학습률을 조정함으로써, 하이퍼파라미터 조정 없이도 다양한 모델과 데이터셋에서 자동으로 보편적인 최적화를 가능하게 하는 파라미터 없는 적응형 학습률 알고리즘인 AALR를 제안한다. 이는 초기 설정이 필요 없으며, 계산 오버헤드 없이 자연 및 적대적 학습 모두에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Training neural networks on image datasets generally require extensive experimentation to find the optimal learning rate regime. Especially, for the cases of adversarial training or for training a newly synthesized model, one would not know the best learning rate regime beforehand. We propose an automated algorithm for determining the learning rate trajectory, that works across datasets and models for both natural and adversarial training, without requiring any dataset/model specific tuning. It is a stand-alone, parameterless, adaptive approach with no computational overhead. We theoretically discuss the algorithm's convergence behavior. We empirically validate our algorithm extensively. Our results show that our proposed approach \\emph{consistently} achieves top-level accuracy compared to SOTA baselines in the literature in natural as well as adversarial training.

연구 동기 및 목표

• 딥 네URAL 네트워크 학습에서 학습률 선택과 같은 수작업이 오랜 시간이 소요되는 하이퍼파라미터 튜닝 문제를 해결하기 위해, 특히 새로운 환경이나 적대적 학습 시나리오에서의 도전 과제를 해결한다.
• 모델이나 데이터셋에 특화된 튜닝 없이도 다양한 모델과 데이터셋에서 작동하는 자동화되고 보편적인 학습률 스케줄링 방법을 개발한다.
• 실시간 손실 모니터링 기반으로 동적으로 학습률을 조정하여 자연 및 적대적 학습에서 일반화 성능을 향상시킨다.
• 그리드 서치, 랜덤 서치 또는 Adam과 같은 복잡한 적응형 옵timizer를 사용할 필요 없이, 그 성능을 유지하거나 초월한다.

제안 방법

• 알고리즘은 각 단계에서 학습 손실을 모니터링하고, 지금까지 관측된 최고의 손실과 비교한다.
• 현재 손실이 최고 손실보다 낮을 경우, 손실 곡면에서 더 넓게 탐색하기 위해 학습률을 증가시킨다.
• 현재 손실이 최고 손실보다 낮지 않으면, 발산을 방지하고 학습을 안정화하기 위해 학습률을 감소시킨다.
• 학습률 조정은 하이퍼파라미터나 사전 정의된 스케줄이 없이 수행되어, 파라미터가 없고 독립적인 알고리즘이 된다.
• 이 방법은 계산적으로 경량화되어 있으며, 표준 학습 외에 추가 오버헤드가 없다.
• 이론적 배경은 학습률을 증가시키면 날카로운 국소 최소값에서 벗어나 평탄한 지역을 탐색하는 데 도움이 된다는 아이디어에서 영감을 받았다.

실험 결과

연구 질문

• RQ1 간단하고 파라미터가 없는 학습률 적응 전략이 자연 및 적대적 학습 모두에서 Adam, RMSProp과 같은 기존의 적응형 옵티마이저를 능가할 수 있는가?
• RQ2 순수하게 손실 비교에 기반한 동적 학습률 조정이 고정 또는 사전 정의된 스케줄보다 일반화 성능을 향상시키는가?
• RQ3 이러한 방법이 작업에 특화된 튜닝 없이도 다양한 모델과 데이터셋에서 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ4 최적의 학습률 영역이 일반적으로 알려져 있지 않고 매우 민감한 적대적 학습 환경에서 이 알고리즘이 어떻게 작동하는가?
• RQ5 학습률 적응이 딥 러닝 학습의 수렴 속도와 안정성에 어떤 영향을 미치는가?

주요 결과

• AALR는 FGSM 화이트박스 공격 하에서 CIFAR-10에서 400 에포크 기준 69.85%의 최신 기술 수준의 적대적 테스트 정확도를 달성했으며, SGDR(67.4%)와 CLR(68.93%)를 크게 앞서며 뛰어난 성능을 보였다.
• 자연 학습에서는 AALR가 항상 최신 기술 수준의 기준 모델과 동일하거나 뛰어난 성능를 보였으며, Cutout를 사용한 WRN-28-10 기준 96.44%의 정확도를 기록했고, 기준 모델의 96.92%를 상회했다.
• 적대적 학습에서는 다른 방법들과 달리 AALR가 더 안정적인 수렴과 수렴 조기 탐지 능력을 보였으며, Adam은 두 개의 자연 학습 케이스에서 치명적인 실패를 겪었다.
• SimpleNet-V1에 대해서는 AALR가 FGSM 공격 하에서 CIFAR-10에서 65.02%의 적대적 정확도를 달성하여 경량 모델에서도 효과적임을 입증했다.
• 모든 적대적 학습 시나리오에서 AALR는 ADAM을 능가했으며, FGSM 공격 하에서 WRN-34-10의 정확도가 16.13%로 급격히 하락하여 동적 손실 조건 하에서 일반화 성능이 열 劣한 것으로 나타났다.
• 이 알고리즘은 다양한 모델(ResNet, VGG, WideResNet, SimpleNet)과 데이터셋(CIFAR-10, CIFAR-100)에서 뛰어난 강건성과 안정성을 보여주어 보편성과 신뢰성을 확인했다.