[논문 리뷰] Large Scale Distributed Hessian-Free Optimization for Deep Neural Network.

Xi He, Dheevatsa Mudigere외 2명|arXiv (Cornell University)|2016. 06. 02.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 깊이 신경망을 위한 대규모 분산 헤시안 프리 최적화 방법을 제안하며, 안정화된 이중 공액 기울기 방법과 음의 곡률 정보를 활용하여 안정적으로 안장점에서 벗어나 훈련 속도를 높인다. 이 방법은 최대 16개의 CPU 노드에서 거의 선형적 속도 향상을 달성하며, SGD보다 한 단계 큰 배치 크기를 지원하여 스케일링 효율성과 수렴 속도를 크게 향상시킨다.

ABSTRACT

Training deep neural network is a high dimensional and a highly non-convex optimization problem. Stochastic gradient descent (SGD) algorithm and it's variations are the current state-of-the-art solvers for this task. However, due to non-covexity nature of the problem, it was observed that SGD slows down near saddle point. Recent empirical work claim that by detecting and escaping saddle point efficiently, it's more likely to improve training performance. With this objective, we revisit Hessian-free optimization method for deep networks. We also develop its distributed variant and demonstrate superior scaling potential to SGD, which allows more efficiently utilizing larger computing resources thus enabling large models and faster time to obtain desired solution. Furthermore, unlike truncated Newton method (Marten's HF) that ignores negative curvature information by using na\ive conjugate gradient method and Gauss-Newton Hessian approximation information - we propose a novel algorithm to explore negative curvature direction by solving the sub-problem with stabilized bi-conjugate method involving possible indefinite stochastic Hessian information. We show that these techniques accelerate the training process for both the standard MNIST dataset and also the TIMIT speech recognition problem, demonstrating robust performance with upto an order of magnitude larger batch sizes. This increased scaling potential is illustrated with near linear speed-up on upto 16 CPU nodes for a simple 4-layer network.

연구 동기 및 목표

• 깊이 신경망 훈련에서 안장점 근처에서의 확률적 경사 하강법(SGD)의 느린 수렴 문제를 해결한다.
• 기존의 헤시안 프리 방법이 단순한 공액 기울기와 가우스-뉴턴 근사로 인해 음의 곡률를 忽시하는 데서 비롯되는 한계를 극복한다.
• 대규모 컴퓨팅 자원을 보다 효과적으로 활용하기 위해 헤시안 프리 최적화의 확장 가능하고 분산된 변형을 개발한다.
• SGD보다 한 단계 큰 배치 크기—최대 10배까지—를 사용하면서도 수렴 속도를 유지할 수 있도록 한다.
• 안정화된 이중 공액 방법을 통해 부정적 정규화된 확률적 헤시안 정보를 활용하여 최적화 효율성을 향상시킨다.

제안 방법

• 안정화된 이중 공액 기울기 방법을 통해 음의 곡률 정보를 통합함으로써 깊이 신경망을 위한 헤시안 프리 최적화를 재검토한다.
• 기존의 헤시안 프리 방법에서 사용하는 단순한 공액 기울기 접근 방식을 대체로, 부정적 정규화된 헤시안 근사치를 다룰 수 있는 안정화된 변형을 도입한다.
• 확률적 헤시안 정보를 사용하여 최적화 과정 중 곡률 동역학, 특히 음의 곡률를 포착한다.
• 최대 16개의 CPU 노드에서 거의 선형적 속도 향상을 달성할 수 있도록 헤시안 프리 알고리즘의 분산 구현을 설계한다.
• 안정화된 이중 공액 방법과 가우스-뉴턴 헤시안 근사치를 통합하여 수렴 안정성과 성능을 향상시킨다.
• 확률적 헤시안 추정치에서 발생하는 부정적 정규화된 선형 시스템을 다룰 수 있는 안정화된 이중 공액 방법을 사용해 하위 문제의 해를 공식화한다.

실험 결과

연구 질문

• RQ1 대규모 깊이 신경망에서 분산 헤시안 프리 최적화 방법이 SGD보다 훈련 속도와 확장성 측면에서 뛰어나게 되는가?
• RQ2 안정화된 이중 공액 방법을 통해 음의 곡률 정보를 활용하면 기존의 헤시안 프리 접근 방식보다 안장점에서 더 빨리 벗어날 수 있는가?
• RQ3 헤시안 프리 최적화에서 수렴 성능이 악화되지 않도록 배치 크기를 얼마나 크게 늘릴 수 있으며, 이는 SGD와 비교해 어떻게 되는가?
• RQ4 대규모 CPU 클러스터에서 분산 헤시안 프리 방법을 통해 어떤 정도의 속도 향상을 달성할 수 있는가?
• RQ5 비볼록 깊이 신경망 문제에서 확률적 헤시안 근사치를 사용할 경우, 제안된 방법이 어떻게 강건성과 수렴성을 유지하는가?

주요 결과

• 제안된 헤시안 프리 방법은 최대 16개의 CPU 노드에서 거의 선형적 속도 향상을 달성하여 SGD에 비해 훨씬 뛰어난 확장 잠재력을 보여준다.
• 이 방법은 SGD에서 사용하는 것보다 최대 10배 큰 배치 크기를 지원하여 대규모 컴퓨팅 자원을 더욱 효율적으로 활용할 수 있다.
• 안정화된 이중 공액 방법을 통해 음의 곡률 정보를 활용함으로써 알고리즘이 MNIST 및 TIMIT 데이터셋에서 수렴 속도를 높이고 훈련 성능을 향상시킨다.
• 분산된 헤시안 프리 최적화기의 성능은 특히 큰 배치 크기를 요구하는 시나리오에서 SGD를 능가한다.
• 이 방법은 이미지 분류(MNIST)와 음성 인식(TIMIT)을 포함한 다양한 딥러닝 작업에서 강건한 성능을 보이며, 일반화 능력을 확인한다.
• 안정화된 이중 공액 방법과 함께 확률적 헤시안 근사치를 사용함으로써 부정적 정규화된 곡률를 효과적으로 다룰 수 있어, 안장점에서의 벗어남과 최적화 안정성을 향상시킨다.