[논문 리뷰] Mollifying Networks

Çaǧlar Gülçehre, Marcin Moczulski외 2명|arXiv (Cornell University)|2016. 08. 17.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 4

한 줄 요약

이 논문은 손실 함수에 대해 미분 가능한 스무딩(mollification)을 단일 조절 가능한 하이퍼파rameter를 통해 적용함으로써 모델 복잡도를 점진적으로 증가시키는 새로운 최적화 방법인 Mollifying Networks를 제안한다. 초기에는 볼록이고 스무딩된 목표 함수로 시작하여 점차 스무딩을 줄임으로써, 딥 MLP와 LSTMs와 같은 깊고 비볼록적인 모델의 훈련 안정성과 수렴성을 향상시킨다. ResNet과 확률적 깊이 기법과 비교해도 파리티, 펜토미노, CIFAR-10, 언어 모델링 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The optimization of deep neural networks can be more challenging than traditional convex optimization problems due to the highly non-convex nature of the loss function, e.g. it can involve pathological landscapes such as saddle-surfaces that can be difficult to escape for algorithms based on simple gradient descent. In this paper, we attack the problem of optimization of highly non-convex neural networks by starting with a smoothed -- or extit{mollified} -- objective function that gradually has a more non-convex energy landscape during the training. Our proposition is inspired by the recent studies in continuation methods: similar to curriculum methods, we begin learning an easier (possibly convex) objective function and let it evolve during the training, until it eventually goes back to being the original, difficult to optimize, objective function. The complexity of the mollified networks is controlled by a single hyperparameter which is annealed during the training. We show improvements on various difficult optimization tasks and establish a relationship with recent works on continuation methods for neural networks and mollifiers.

연구 동기 및 목표

• 특히 손실 함수의 기형적인 형태를 띠는 비볼록 깊은 신경망 최적화의 어려움을 해결하기 위해.
• 시그모이드/탄젠트 활성화 함수를 사용하는 깊은 MLP와 LSTMs와 같은 깊은 모델에서의 훈련 안정성과 수렴성을 향상시키기 위해.
• 계속 방법(continuation methods), 모리피어(mollifiers), 그리고 신경망 최적화에서의 적응형 노이즈 주입 간의 연결 고리를 탐색하기 위해.
• 배치 정규화나 잔차 연결과 같은 복잡한 정규화나 아키텍처 기법의 대안으로 단일 하이퍼파rameter를 사용하는 단순한 방법을 제공하기 위해.

제안 방법

• 이 방법은 원래 손실 함수의 스무딩되고 볼록한 근사치로 시작하는 모리피케이션된 목표 함수를 사용하며, 단일 하이퍼파rameter의 안내에 따라 훈련 중에 점차 스무딩을 제거한다.
• 모리피케이션은 모리피어 커널을 사용한 미분 가능한 스무딩 연산을 통해 구현되며, 약한 도함수와 몬테카를로 추정을 통해 기울기 계산이 가능하다.
• 하이퍼파rameter는 손실의 스무딩 수준과 동시에 네트워크의 확률적 깊이를 제어하므로, 모델이 얕고 볼록한 상태에서 시작하여 점차 깊어지고 복잡해지도록 한다.
• 안내 스케줄은 적응형이다: 하이퍼파rameter는 훈련 또는 검증 손실에 따라 조정되며, 성능이 떨어질 경우 노이즈를 증가시키고 수렴할 경우 줄인다.
• SGD와 모멘텀을 포함한 표준 최적화 알고리즘과 호환되며, MLP, CNN, LSTMs 등 다양한 아키텍처에 적용할 수 있다.
• 이 방법은 계속 방법과 분포 기반 기울기 이론에 기반하여 이전에 알려진 스무딩 및 정규화 기법과 연결된다.

실험 결과

연구 질문

• RQ1 손실 함수의 매끄럽고 볼록한 근사치가 깊고 비볼록적인 신경망 최적화에 도움이 될 수 있는가?
• RQ2 스무딩과 확률적 깊이를 동시에 제어하는 단일 하이퍼파rameter를 안내하는 것이 훈련 동역학과 수렴성에 어떤 영향을 미치는가?
• RQ3 모리피케이션은 배치 정규화나 잔차 연결과 같은 기존 기법보다 어려운 최적화 작업에서 더 나은 성능을 낼 수 있는가?
• RQ4 모리피케이션을 통한 적응형 노이즈 주입이 일반화 능력과 테스트 성능에 어떤 영향을 미치는가?

주요 결과

• 40차원 파리티 작업에서, 시그모이드 활성화 함수를 사용하는 모리피케이션된 MLP는 표준 및 잔차 연결 기반 베이스라인보다 유의미하게 더 빨리 수렴했다.
• 펜토미노 데이터셋에서, 모리피케이션된 MLP는 100 에포크 후 75.15%의 정확도를 기록하여, 베이스라인 모델(69.5%)과 이전 최신 기술 수준(68.15%)을 모두 초월했다.
• 110층의 컨volutional 네트워크를 사용한 CIFAR-10에서, 모리피케이션된 모델은 92.45%의 테스트 정확도를 달성하여 ResNet(91.78%)을 능가했고, 확률적 깊이 기법(93.25%)에 가까이 다가섰다.
• PTB 언어 모델링에서, 모리피케이션된 LSTM은 테스트 퍼플렉서티 123.6을 기록하여, 베이스라인 LSTM(128.4)을 능가했으며 수렴 속도도 빨랐다.
• 훈련 손실에 기반한 적응형 안내 스케줄은 노이즈 주입을 효과적으로 조절하여, 필요할 경우 탐색을 촉진하고 수렴 시에는 노이즈를 줄였다.
• 다양한 아키텍처와 작업에서 일반화 능력과 안정성이 향상되었으며, 이는 모리피케이션이 통제된 노이즈 주입을 통해 정규화 역할을 한다는 것을 시사한다.