[논문 리뷰] Gradient Amplification: An efficient way to train deep neural networks

Sunitha Basodi, Chunyan Ji외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Neural Network Applications참고 문헌 26인용 수 13

한 줄 요약

이 논문은 기울기 소실 문제를 완화하기 위해 백프로파게이션 중 기울기를 동적으로 증폭하는 새로운 학습 전략인 기울기 증폭을 제안한다. 특정 레이어—특히 배치 정규화(BN) 레이어—에서 교차하는 학습 에포크 동안 기울기를 선택적으로 증폭함으로써, 더 빠른 수렴과 향상된 정확도를 달성한다. 이는 고학습률에서도 원본 모델 대비 최대 2.27% 높은 테스트 정확도를 기록하며 학습 시간을 크게 단축시킨다.

ABSTRACT

Improving performance of deep learning models and reducing their training times are ongoing challenges in deep neural networks. There are several approaches proposed to address these challenges one of which is to increase the depth of the neural networks. Such deeper networks not only increase training times, but also suffer from vanishing gradients problem while training. In this work, we propose gradient amplification approach for training deep learning models to prevent vanishing gradients and also develop a training strategy to enable or disable gradient amplification method across several epochs with different learning rates. We perform experiments on VGG-19 and resnet (Resnet-18 and Resnet-34) models, and study the impact of amplification parameters on these models in detail. Our proposed approach improves performance of these deep learning models even at higher learning rates, thereby allowing these models to achieve higher performance with reduced training time.

연구 동기 및 목표

• 딥 네트워크에서 학습 효율성과 모델 성능을 저해하는 기울기 소실 문제를 해결하기 위해.
• 수렴성이나 정확도를 희생시키지 않고도 고학습률에서 효과적인 학습을 가능하게 하여 학습 시간을 단축하기 위해.
• 에포크 간 기울기 증폭과 표준 백프로파게이션을 번갈아 적용하는 동적 학습 전략을 개발하기 위해.
• VGG-19 및 ResNets와 같은 깊은 모델에서 성능 향상을 극대화하는 데 최적의 레이어와 증폭 파라미터를 규명하기 위해.
• 기울기 증폭이 과적합을 유도하지 않으면서도 학습 및 일반화 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 선택된 레이어에서 백프로파게이션 중 기울기를 가중치 학습 가능한 스케일링 인자로 곱하는 기울기 증폭 메커니즘을 도입한다.
• 실험적 성능 분 析를 바탕으로 특정 레이어—특히 배치 정규화(BN) 레이어—에 대해 증폭을 선택적으로 적용한다.
• 하이브리드 학습 전략을 활용: 기울기 증폭이 적용된 에포크와 적용되지 않은 에포크를 번갈아 적용하여 학습 안정성 향상과 수렴성 향상을 도모한다.
• 동적 학습률 스케줄링과 증폭을 조합하여 학습 속도를 가속화하면서도 높은 정확도를 유지한다.
• 레이어별 분석을 통해 다양한 레이어 유형(BN, ReLU 등)에 기울기 증폭을 적용했을 때의 영향을 평가한다.
• 정확한 평가를 보장하기 위해 조기 정지와 학습률 감소를 적용한 5중 교차 검증 학습 설정을 사용한다.

실험 결과

연구 질문

• RQ1 VGG-19 및 ResNet과 같은 깊은 네트워크에서 모델 복잡도를 증가시키지 않고도 기울기 증폭이 학습 속도와 모델 정확도를 향상시킬 수 있는가?
• RQ2 성능 향상 측면에서 기울기 증폭에 가장 효과적인 레이어(예: BN, ReLU)는 무엇인가?
• RQ3 증폭 에포크와 비증폭 에포크를 번갈아 적용하는 교차 증폭 전략이 표준 학습 대비 수렴성과 정확도 측면에서 어떻게 비교되는가?
• RQ4 기울기 증폭이 발산이나 과적합을 유도하지 않으면서도 고학습률을 효과적으로 사용할 수 있도록 허용하는가?
• RQ5 기울기 증폭이 증폭 없이도 최고 성능을 낸 원본 모델의 런보다도 뛰어난 성능을 낼 수 있는가?

주요 결과

• 기울기 증폭은 VGG-19에 대해 원본 모델 대비 최대 2.27% 향상된 테스트 정확도를 기록했으며, ResNet-18에선 2.08%, ResNet-34에선 1.67% 향상되었다.
• 가장 뛰어난 성능는 배치 정규화(BN) 레이어만 증폭했을 때 달성되었으며, BN과 ReLU 레이어를 모두 증폭한 전략보다 뛰어났다.
• 고정 학습률 0.01로 50개의 추가 에포크를 거친 후에도 원본 모델은 기울기 증폭 모델의 정확도를 따라잡지 못했다.
• 증폭 모델은 다섯 번의 독립적 런 동안 원본 모델의 평균 및 최고 런보다도 높은 훈련 및 테스트 정확도를 달성했다.
• 이 방법을 통해 고학습률을 효과적으로 사용할 수 있었고, 학습 시간을 단축시키면서도 모델 성능을 유지하거나 향상시켰다.
• 증폭 및 비증폭 에포크를 번갈아 적용하는 학습 전략은 과적합을 방지하고 일반화 성능을 향상시켰다.