[논문 리뷰] Stochastic Training of Residual Networks: a Differential Equation Viewpoint

Qi Sun, Yunzhe Tao외 1명|arXiv (Cornell University)|2018. 12. 01.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 18

한 줄 요약

이 논문은 잔차 신경망(ResNets)에서의 확률적 학습을 약한 근사값으로서의 확률적 미분방정식(SDEs)으로 해석하기 위한 미분방정식 프레임워크를 제안한다. 확률적 수정 방정식 방법을 적용하여 드롭아웃 주입이 역 코모골로프 방정식에서 인위적 점성(viscosity)으로 작용하며, 손실 경로를 평탄하게 하고 일반화 성능을 향상시킨다는 것을 보여주며, 이는 이미지 분류 작업에서 실험을 통해 검증되었다. 이는 높은 학습 손실에도 불구하고 더 높은 테스트 정확도를 달성함으로써 입증되었다.

ABSTRACT

During the last few years, significant attention has been paid to the stochastic training of artificial neural networks, which is known as an effective regularization approach that helps improve the generalization capability of trained models. In this work, the method of modified equations is applied to show that the residual network and its variants with noise injection can be regarded as weak approximations of stochastic differential equations. Such observations enable us to bridge the stochastic training processes with the optimal control of backward Kolmogorov's equations. This not only offers a novel perspective on the effects of regularization from the loss landscape viewpoint but also sheds light on the design of more reliable and efficient stochastic training strategies. As an example, we propose a new way to utilize Bernoulli dropout within the plain residual network architecture and conduct experiments on a real-world image classification task to substantiate our theoretical findings.

연구 동기 및 목표

• 경험적 관찰을 넘어서 ResNets에서의 확률적 학습의 정규화 메커니즘을 이해하기 위해.
• 확률적 ResNet 학습과 확률적 미분방정식 간의 연속 시간적 연결 고리를 설정하기 위해.
• 드롭아웃을 역 코모골로프 방정식에서 제2항의 인위적 점성 항으로 해석하기 위해.
• 손실 경로의 정규화와 일반화 성능 향상에 대한 PDE 기반 시각을 제공하기 위해.
• 실세계 이미지 분류 작업에서 이론적 프레임워크를 실증적으로 평가하기 위해.

제안 방법

• 노이즈 주입이 있는 ResNet의 연속 시간 SDE 근사값을 유도하기 위해 확률적 수정 방정식 방법을 적용한다.
• 이토의 공식을 사용하여 확률적 학습 과정을 역 코모골로프 방정식의 최적 제어와 연결한다.
• 일반 ResNet의 학습 동역학을 운반 방정식에 의해 지배되는 시스템의 제약 최적화로 해석한다.
• 주입된 노이즈가 PDE 수식에서 제2항의 인위적 점성 항으로 작용하며, 손실 경로를 매끄럽게 한다는 것을 보여준다.
• 일반 ResNet의 각 잔차 블록 뒤에 베르누이 드롭아웃을 삽입하여 새로운 확률적 학습 전략을 제안한다.
• 이론적 주장의 검증을 위해 다양한 생존 확률을 가진 CIFAR-10과 같은 실세계 이미지 분류 작업에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 ResNets에서의 확률적 학습은 어떻게 확률적 미분방정식의 관점에서 해석할 수 있는가?
• RQ2 PDE 관점에서 드롭아웃은 손실 경로를 어떻게 수정하는가?
• RQ3 ResNets에서의 노이즈 주입은 역 코모골로프 방정식의 최적 제어와 어떻게 관련되는가?
• RQ4 드롭아웃의 인위적 점성 효과는 일반화 향상과 정량적으로 연결될 수 있는가?
• RQ5 깊은 ResNets에서 정규화와 수렴을 균형 잡는 데 최적의 드롭아웃 확률은 무엇인가?

주요 결과

• 노이즈 주입이 있는 ResNets의 확률적 학습은 다중성 노이즈가 있는 SDE의 약한 근사값과 수학적으로 동치이다.
• 드롭아웃 주입은 역 코모골로프 방정식에서 제2항의 인위적 점성 항을 도입하여 급격한 국소 최소값을 감소시키고 손실 경로를 평탄하게 한다.
• 이론적 분석에 따르면 이러한 정규화 효과는 열악한 국소 최소값의 수를 감소시키며, 이들 사이의 에너지 장벽을 낮춘다.
• CIFAR-10에서의 실증 결과는 최적 드롭아웃(예: p=85–97.5%)을 사용한 확률적 학습이 일반화 성능을 향상시키며, 더 높은 학습 손실에도 불구하고 더 높은 테스트 정확도를 달성함을 보여준다.
• 학습 성능과 검증 성능의 격차가 감소하여, 특히 PreResNet-56 및 PreResNet-110와 같은 더 깊은 네트워크에서 일반화 성능 향상이 두드러진다.
• 드롭아웃 확률이 100%에 가까워질수록 정규화 효과가 감소하고 성능 향상도 줄어들며, 피팅과 정규화 사이의 트레이드오���이 확인된다.