[논문 리뷰] Adaptive Normalized Risk-Averting Training For Deep Neural Networks

Zhiguang Wang, Tim Oates외 1명|arXiv (Cornell University)|2015. 06. 08.

Advanced Neural Network Applications참고 문헌 26인용 수 5

한 줄 요약

이 논문은 깊은 신경망을 위한 최적화 방법인 적응형 정규화된 위험 회피 학습(ANRAT)을 소개한다. 이 방법은 훈련 안정성과 일반화 성능을 향상시키기 위해 자동으로 볼록성 지수를 조정한다. 기울기 하강법을 통해 위험 회피 오차 기준을 동적으로 조정함으로써, ANRAT는 비지도 사전학습 없이 MNIST 및 CIFAR-10에서 표준 MSE와 교차엔트로피 손실과 비교해 뛰어나거나 유사한 성능을 달성한다. 특히 깊은 네트워크에서 뛰어난 성능을 보인다.

ABSTRACT

This paper proposes a set of new error criteria and learning approaches, Adaptive Normalized Risk-Averting Training (ANRAT), to attack the non-convex optimization problem in training deep neural networks (DNNs). Theoretically, we demonstrate its effectiveness on global and local convexity lower-bounded by the standard $L_p$-norm error. By analyzing the gradient on the convexity index $λ$, we explain the reason why to learn $λ$ adaptively using gradient descent works. In practice, we show how this method improves training of deep neural networks to solve visual recognition tasks on the MNIST and CIFAR-10 datasets. Without using pretraining or other tricks, we obtain results comparable or superior to those reported in recent literature on the same tasks using standard ConvNets + MSE/cross entropy. Performance on deep/shallow multilayer perceptrons and Denoised Auto-encoders is also explored. ANRAT can be combined with other quasi-Newton training methods, innovative network variants, regularization techniques and other specific tricks in DNNs. Other than unsupervised pretraining, it provides a new perspective to address the non-convex optimization problem in DNNs.

연구 동기 및 목표

• 비지도 사전학습에 의존하지 않고 깊은 신경망 훈련에서의 비볼록 최적화 문제를 해결하기 위해.
• 최적화가 더 나은 국소 최소값으로 향하도록 볼록성 성질을 향상시키는 새로운 오차 기준을 개발하기 위해.
• 표준 손실 함수인 MSE와 교차엔트로피의 강력한 대안을 제공하여 깊은 아키텍처에서 수렴성과 일반화 성능을 향상시키기 위해.
• 비볼록 최적화에서 고정되거나 히우리스틱 방식보다 더 나은 성능을 낼 수 있는 볼록성 지수의 적응적 조정이 가능함을 입증하기 위해.

제안 방법

• 비볼록성과 유계성을 보장하는 정규화된 위험 회피 오차(NRAE) 기준을 제안하여 안정적인 최적화를 보장한다.
• 오차 표면에서 기울기 하강법을 통해 볼록성 지수 λ를 적응적으로 조정함으로써 훈련 중 동적 볼록화를 가능하게 한다.
• 이론적 분석을 통해 λ ≥ 1일 때 NRAE 성능의 하한이 Lp-노름 오차와 일치함을 보여, 그 사용의 타당성을 입증한다.
• 백프로파게이션을 네트워크 가중치뿐 아니라 볼록성 지수 λ에도 적용하여 모델과 오차 구조를 함께 최적화할 수 있도록 한다.
• 아키텍처 변경 없이 ReLU, 배치 정규화, 정규화(예: 드롭아웃)와 같은 표준 딥러닝 구성 요소와 결합한다.
• 초기 훈련 단계에서 평탄한 지역과 불안정한 기울기를 피하기 위해 점진적인 복볼록화 전략을 사용한다.

실험 결과

연구 질문

• RQ1 위험 회피 오차 기준에서 볼록성 지수 λ의 적응적 조정이 깊은 신경망의 최적화를 향상시킬 수 있는가?
• RQ2 비지도 사전학습 없이 ANRAT가 표준 MSE와 교차엔트로피 손실보다 테스트 정확도에서 더 나은 성능을 보일 수 있는가?
• RQ3 얕은 네트워크에서는 ANRAT가 표준 최적화 방법보다 어떻게 성능을 내는가?
• RQ4 ANRAT는 드롭아웃과 배치 정규화와 같은 기존 딥러닝 기법과 효과적으로 조합될 수 있는가?
• RQ5 이 방법은 MLP, 오토인코더, 컨볼루션 네트워크와 같은 다양한 아키텍처로 일반화될 수 있는가?

주요 결과

• MNIST 데이터셋에서 ANRAT는 깊은 MLP에서 테스트 오차 1.45%를 기록하여 표준 MSE(1.91%)를 능가하고, CE 기반 방법과 동등하거나 뛰어난 성능을 보였다.
• CIFAR-10에서 ANRAT는 깊은 MLP에서 테스트 오차 1.45%를 기록하여 표준 MSE를 크게 능가하고, 지도 사전학습의 성능에 가까워졌다.
• 얕은 MLP에서는 ANRAT가 테스트 오차 1.94%를 기록하여 MSE(2.02%)보다 약간 우수했고, CE(1.93%)와 통계적으로 유의미하게 다를 바가 없었다.
• 노이즈 패턴이 복잡한 노이즈 제거 오토인코더에서 가우시안 블록 마스킹 노이즈를 적용했을 때 ANRAT는 MSE와 CE보다 뚜렷한 성능 향상을 보였으며, 복잡한 노이즈에 대한 강건성을 입증했다.
• 이 방법은 국소 최소값이 더 흔한 깊은 네트워크에서 일관된 성능 향상을 보였고, 표준 최적화가 이미 근사 최적해를 찾는 얕은 네트워크에서는 성능 향상이 미미했다.
• 보조 결과는 ANRAT가 GDC를 능가하고, 특히 도전적인 노이즈 조건에서 최첨단 기법과 경쟁 가능한 성능을 보임을 확인했다.