[논문 리뷰] Structurally Sparsified Backward Propagation for Faster Long Short-Term Memory Training

Maohua Zhu, Jason Clemons외 4명|arXiv (Cornell University)|2018. 06. 01.

Advanced Neural Network Applications참고 문헌 15인용 수 7

한 줄 요약

이 논문은 장기 단기 기억(LSTM) 네트워크를 위한 구조적 희소화된 역전파를 제안하며, 역전파 중 게이트 기울기의 고정된 희소성 구조를 강제하여 GPU에서의 훈련 속도를 높인다. LSTM 게이트 기울기에 대해 근본적 또는 세밀한 구조적 희소성을 적용함으로써, 밀집 훈련 대비 최대 45% 빠른 역전파를 달성하고, 최신의 희소화 방법보다 168% 더 빠르며, 짧은 밀집 훈련 단계와 결합할 경우 정확도 손실이 최소화된다.

ABSTRACT

Exploiting sparsity enables hardware systems to run neural networks faster and more energy-efficiently. However, most prior sparsity-centric optimization techniques only accelerate the forward pass of neural networks and usually require an even longer training process with iterative pruning and retraining. We observe that artificially inducing sparsity in the gradients of the gates in an LSTM cell has little impact on the training quality. Further, we can enforce structured sparsity in the gate gradients to make the LSTM backward pass up to 45% faster than the state-of-the-art dense approach and 168% faster than the state-of-the-art sparsifying method on modern GPUs. Though the structured sparsifying method can impact the accuracy of a model, this performance gap can be eliminated by mixing our sparse training method and the standard dense training method. Experimental results show that the mixed method can achieve comparable results in a shorter time span than using purely dense training.

연구 동기 및 목표

• 전방 전파 최적화에 비해 미사용된 역전파에서의 희소성을 활용하여 LSTM 훈련 속도를 높이기.
• 현대 GPU에서 높은 희소 행렬 곱셈 오버헤드로 인해 비효율적인 기존 기울기 희소화 방법의 문제를 해결하기.
• 희소 훈련과 주기적인 밀집 미세조정을 결합하여 모델 정확도를 손상시키지 않고도 상당한 속도 향상 달성하기.
• GPU 최적화된 행렬 연산을 활용하는 하드웨어 인식 희소 패턴 설계하여 최대 성능 향상 도모하기.
• 특히 밀집 단계와 조합했을 때, 게이트 기울기에서 중간 수준의 희소성(예: 50%)이 훈련 품질에 거의 영향을 주지 않음을 입증하기.

제안 방법

• 역전파 중 LSTM 게이트 기울기에 대상으로 하는 두 가지 구조적 희소화 방법—근본적 및 세밀한 수준—제안.
• 각 게이트당 고정된 희소 수준(예: 50%)을 적용하여 기울기의 절대값이 가장 큰 k개의 값만 유지함으로써 구조적 희소성 강제.
• 고성능 GPU 커널과의 호환성을 확보하기 위해 전역 top-k 연산을 피하는 방식으로 희소화 방법 설계.
• 하이브리드 훈련 전략 도입: 대부분의 훈련 단계에서는 희소 기울기를 사용하고, 정확도 복구를 위해 소수의 밀집 단계를 적용.
• 혼합 훈련 스케줄(예: 3/4 희소 + 1/4 밀집)을 활용해 속도와 모델 품질의 균형을 이루며 성능 저하 최소화.
• 기존 딥러닝 프레임워크 및 훈련 파이프라인과의 호환성을 확보하기 위해 표준 SGD를 희소 기울기와 함께 사용.

실험 결과

연구 질문

• RQ1 LSTM 게이트 기울기에서의 구조적 희소성이 정확도를 저하시키지 않고 역전파 속도를 크게 향상시킬 수 있는가?
• RQ2 현대 GPU에서 구조적 기울기 희소화의 성능이 밀집 훈련 및 기존의 희소화 방법과 비교해 어떻게 되는가?
• RQ3 수용 가능한 모델 성능을 유지하면서도 희소성 수준과 훈련 속도 사이의 최적의 트레이드오���은 무엇인가?
• RQ4 짧은 밀집 훈련 단계를 통해 희소 훈련으로 인한 정확도 격차를 효과적으로 복구할 수 있는가?
• RQ5 제안된 방법이 신경 기계 번역 및 언어 모델링과 같은 다양한 NLP 작업 및 모델 아키텍처에서 스케일링 가능한가?

주요 결과

• 근본적 희소화 방법은 현대 GPU에서 밀집 훈련 대비 최대 45% 더 빠른 LSTM 역전파를 달성한다.
• meProp와 같은 최신 희소화 방법보다 50% 희소성에서 168% 더 빠르며, meProp의 높은 정확도에도 불구하고.
• 50% 희소성에서 근본적 희소화 방법은 밀집 훈련 대비 BLEU 점수를 3.5%만 감소시키며, 1/4 밀집 단계로는 이 격차가 완전히 복구된다.
• 혼합 희소-밀집 훈련 전략은 밀집 훈련(20.32)과 유사한 BLEU 점수(20.30–20.45)를 더 짧은 시간 내에 달성한다.
• 세밀한 희소화 방법은 36%의 속도 향상을 달성하고 근본적 희소화보다 略적으로 더 높은 정확도를 유지하지만, 커널 오버헤드로 인해 효율성이 떨어진다.
• 속도 향상은 응용 유형과 무관하며, 기계 번역, 언어 모델링, 이미지 캡션 생성과 같은 LSTM 기반 작업 전반에 균일하게 적용된다.