[논문 리뷰] Parallel training of DNNs with Natural Gradient and Parameter Averaging

Daniel Povey, Xiaohui Zhang외 1명|arXiv (Cornell University)|2014. 10. 27.

Neural Networks and Applications참고 문헌 24인용 수 123

한 줄 요약

이 논문은 복수 대의 기계를 통해 깊이 신경망(DNN)의 병렬 학습을 위한 확장 가능하고 하드웨어에 종속되지 않는 프레임워크를 제안한다. 이는 1~2분 간격으로 매개변수를 평균화하고, 효율적인 근사 자연 경사 하강법(NG-SGD)을 결합한 방식이다. 1~8개의 GPU에서 거의 선형적인 속도 향상을 달성하며, 과도한 통신 없이도 대규모 음성 인식 학습에서 수렴성과 안정성을 크게 향상시킨다.

ABSTRACT

We describe the neural-network training framework used in the Kaldi speech recognition toolkit, which is geared towards training DNNs with large amounts of training data using multiple GPU-equipped or multi-core machines. In order to be as hardware-agnostic as possible, we needed a way to use multiple machines without generating excessive network traffic. Our method is to average the neural network parameters periodically (typically every minute or two), and redistribute the averaged parameters to the machines for further training. Each machine sees different data. By itself, this method does not work very well. However, we have another method, an approximate and efficient implementation of Natural Gradient for Stochastic Gradient Descent (NG-SGD), which seems to allow our periodic-averaging method to work well, as well as substantially improving the convergence of SGD on a single machine.

연구 동기 및 목표

• 다양한 GPU를 탑재한 기계를 활용해 대규모 음성 인식 데이터셋에 대한 DNN 학습을 위한 확장 가능하고 통신 효율적인 방법을 개발한다.
• 분산 학습에서 희귀한 매개변수 평균화와 함께 표준 SGD를 사용할 경우 발생하는 불안정성과 열악한 수렴성 문제를 해결한다.
• 네트워크 트래픽을 최소화하면서도 모델 품질을 유지함으로써 하드웨어에 종속되지 않는 병렬 학습을 가능하게 한다.
• 주기적인 매개변수 평균화와 NG-SGD의 조합이 안정적이고 빠른 수렴을 이끌어내는지 경험적으로 검증한다.
• Kaldi 툴킷에서 사용 가능한 실용적이고 프로덕션 수준의 대규모 DNN 학습 프레임워크를 제공한다.

제안 방법

• 각기 다른 무작위 데이터 부분집합을 학습하는 별도의 기계에서 독립적인 SGD 프로세스를 사용한다.
• 모델 매개변수를 주기적으로 평균화(1~2분 또는 400,000개의 예제 간격)하고, 이를 모든 기계로 재분배하여 업데이트를 동기화한다.
• 학습 안정성 향상과 수렴 가속화를 위해 자연 경사 하강법(SGD)의 효율적이고 근사적인 구현 방식을 적용한다.
• 개별 학습률을 기계 수로 나누어 효과적 학습률을 조정함으로써 일관된 업데이트 크기를 유지하는 수정된 학습률 스케줄링을 사용한다.
• NG-SGD의 '간단한' 및 '온라인' 버전을 구현하며, 후자는 시간적 의존성이 있는 순차적 학습에 사용된다.
• 온라인 추론을 지원하고 스트리밍 애플리케이션에서의 발화자 적응을 향상시키기 위해 i-벡터를 입력 특징으로 통합한다.

실험 결과

연구 질문

• RQ1 희귀한 통신 없이도 복수 기계 간 주기적 매개변수 평균화가 DNN 학습에서 선형적인 속도 향상을 달성할 수 있는가?
• RQ2 매개변수 평균화와 근사 NG-SGD의 조합이 비볼록 DNN 최적화에서 안정적이고 신속한 수렴을 이끌어내는가?
• RQ3 단일 기계 및 다중 기계 환경 모두에서 NG-SGD가 표준 SGD에 비해 수렴 속도를 어떻게 향상시키는가?
• RQ4 제안된 방법이 다양한 다중 GPU 또는 다중 코어 환경에서 하드웨어에 종속되지 않고 확장 가능한가?
• RQ5 i-벡터 통합이 스트리밍 음성 인식에서 온라인 추론과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• GPU 수를 1에서 8로 늘일 때 거의 선형적인 속도 향상을 달성하며, 통신 오버헤드가 최소한이다.
• 매개변수 평균화만으로는 수렴성이 열악하지만, NG-SGD와 조합하면 안정적이고 신속한 학습이 가능하다.
• 단일 기계에서 NG-SGD는 수렴 속도를 크게 향상시켜 대규모 DNN 학습 시간을 단축시킨다.
• 프레임워크는 오프라인 및 온라인 추론을 모두 지원하며, i-벡터를 통해 실시간 적응이 가능하고 지연을 감소시킨다.
• 기존의 LDA, MLLT, fMLLR 적응 기법을 사용한 전통적 시스템과 동등하거나 이를 초월하는 성능을 보이며, 전이 학습에 더 단순하다.
• 효과적 학습률 스케일링(개별 학습률을 기계 수로 나누기)이 안정성과 수렴성에 있어 핵심적이다.