[논문 리뷰] Regularization and Optimization strategies in Deep Convolutional Neural Network

P. P. Murugan, Shanmugasundaram Durairaj|arXiv (Cornell University)|2017. 12. 13.

Neural Networks and Applications참고 문헌 18인용 수 44

한 줄 요약

이 논문은 딥 컨volution 신경망(DCNNs)에서 정규화 및 최적화 전략에 대한 종합적인 이론적이고 수학적인 분석을 제공한다. 배치/미니배치 SGD, 모멘타, Adam, RMSProp 등의 기법과 드롭아웃, 가중치 감쇠, 조기 정지 등의 방법을 중심으로 다루며, 복잡한 딥러닝 과제에서 학습 수렴성 향상, 과적합 감소 및 모델 일반화 능력 향상에 기여하는 방식을 입증한다.

ABSTRACT

Convolution Neural Networks, known as ConvNets exceptionally perform well in many complex machine learning tasks. The architecture of ConvNets demands the huge and rich amount of data and involves with a vast number of parameters that leads the learning takes to be computationally expensive, slow convergence towards the global minima, trap in local minima with poor predictions. In some cases, architecture overfits the data and make the architecture difficult to generalise for new samples that were not in the training set samples. To address these limitations, many regularization and optimization strategies are developed for the past few years. Also, studies suggested that these techniques significantly increase the performance of the networks as well as reducing the computational cost. In implementing these techniques, one must thoroughly understand the theoretical concept of how this technique works in increasing the expressive power of the networks. This article is intended to provide the theoretical concepts and mathematical formulation of the most commonly used strategies in developing a ConvNet architecture.

연구 동기 및 목표

• 딥 컨volution 신경망에서 일반적으로 사용되는 정규화 및 최적화 기법의 이론적이고 수학적인 정식화를 제공하는 것.
• 이러한 전략이 딥러닝 아키텍처에서 과적합, 느린 수렴, 나쁜 일반화 등의 문제를 어떻게 완화하는지 설명하는 것.
• 이론적 메커니즘과 성능 트레이드오프를 바탕으로 연구자 및 실무자가 효과적인 최적화 및 정규화 방법을 선택하고 구현하도록 지원하는 것.
• 현대 CNN 프레임워크에서 최적화 및 정규화의 이론적 이해와 실용적 적용 간 격차를 메우는 것.

제안 방법

• 확률적 경사하강법(SGD), 미니배치 SGD 및 그 변종인 모멘타, 네스터로프 가속 경사의 수학적 정식화를 유도한다.
• 기울기와 제곱 기울기의 지수 이동 평균을 사용하여 Adagrad, Adadelta, RMSProp, Adam, Nadam 등의 적응형 학습률 방법을 설명한다.
• 과적합을 방지하고 일반화 능력을 향상시키기 위해 L1 및 L2 가중치 감쇠, 드롭아웃, 드롭컨넥트, 조기 정지를 포함한 정규화 기법을 소개한다.
• 학습 안정성과 성능 향상에 기여하는 보완 전략으로 배치 정규화와 데이터 증강의 사용을 제시한다.
• Adam 및 Nadam의 핵심 업데이트 규칙, 특히 편향 보정된 모멘트 추정을 유도한다.
• 활성화 함수(예: ReLU)와 손실 함수(예: 소프트맥스와 함께 사용하는 교차 엔트로피)가 최적화 및 정규화와 함께 수행하는 역할을 분석한다.

실험 결과

연구 질문

• RQ1 표준 SGD에 비해 Adam 및 RMSProp과 같은 적응형 최적화 방법은 딥 CNN 학습에서 수렴 속도와 안정성을 어떻게 향상시키는가?
• RQ2 드롭아웃, 가중치 감쇠(L2), 조기 정지와 같은 정규화 기법의 과적합 방지에 대한 수학적 기반은 무엇인가?
• RQ3 모멘타 기반 방법과 네스터로프 가속은 딥러닝에서 흔히 나타나는 비볼록 손실 곡면에서 최적화를 어떻게 향상시키는가?
• RQ4 배치 정규화와 데이터 증강은 학습 효율성 향상과 모델 일반화 능력 향상에 어떤 역할을 하는가?
• RQ5 최적화 및 정규화 기법의 하이퍼파rameter(예: 학습률, β1, β2, ϵ)는 모델 수렴성과 성능에 어떻게 영향을 미치는가?

주요 결과

• Adagrad, RMSProp, Adam 등의 적응형 최적화 방법은 이력 기울기 정보를 기반으로 학습률을 동적으로 조정함으로써 수렴 속도를 크게 향상시킨다.
• 드롭아웃 및 가중치 감쇠(L2)는 네트워크 가중치를 정규화하고 학습 중 뉴런을 무작위로 비활성화함으로써 과적합을 효과적으로 줄인다.
• 모멘타 및 네스터로프 가속 방법은 비볼록 손실 함수에서 최적화의 안정성을 향상시키고 국소 최솟값을 벗어나는 데 기여한다.
• 배치 정규화, 드롭아웃, Adam과 같은 적응형 최적화기의 조합은 더 빠르고 강건한 학습을 가능하게 하며, 미리 보지 않은 데이터에 대한 일반화 능력을 향상시킨다.
• 특히 Adam의 β1, β2, ϵ와 같은 하이퍼파rameter의 적절한 튜닝은 최적의 수렴성과 성능을 이끌어내며, 기본값(예: β1=0.9, β2=0.999)이 종종 우수한 성능을 내는 편이다.
• 이 논문은 데이터가 제한적이거나 노이즈가 많은 경우에 정규화 및 최적화가 딥 CNN을 효과적으로 학습시키는 데 핵심적인 요소임을 확인한다.