[논문 리뷰] LSTM Benchmarks for Deep Learning Frameworks

Stefan Braun|arXiv (Cornell University)|2018. 06. 05.

Speech Recognition and Synthesis참고 문헌 10인용 수 19

한 줄 요약

이 논문은 파이토치, 텐서플로, 라스네이지, 케라스에서 LSTM의 성능을 벤치마킹하여 일반적인 음성 인식 작업 환경에서의 학습 속도를 평가한다. cuDNN 최적화된 LSTM은 비최적화된 변형보다 최대 7.2배 빠르며, 파이토치와 텐서플로는 cuDNN에서 유사한 성능을 보이며, 비효율적인 가변 길이 시퀀스 처리로 인해 이전 파이토치 버전은 상당히 느리다.

ABSTRACT

This study provides benchmarks for different implementations of LSTM units between the deep learning frameworks PyTorch, TensorFlow, Lasagne and Keras. The comparison includes cuDNN LSTMs, fused LSTM variants and less optimized, but more flexible LSTM implementations. The benchmarks reflect two typical scenarios for automatic speech recognition, notably continuous speech recognition and isolated digit recognition. These scenarios cover input sequences of fixed and variable length as well as the loss functions CTC and cross entropy. Additionally, a comparison between four different PyTorch versions is included. The code is available online https://github.com/stefbraun/rnn_benchmarks.

연구 동기 및 목표

• 자동 음성 인식(ASR)에서 사용되는 주요 딥러닝 프레임워크들 간의 LSTM 유닛 학습 속도 평가 및 비교.
• 고정 길이 및 가변 길이 시퀀스를 포함한 일반적인 ASR 워크로드에서 가장 빠른 LSTM의 최적화 및 융통성 있는 구현 식별.
• 사용자 정의가 가능한 비융합 구현을 위한 파이토치 버전 간 성능 영향 평가, 특히 가변 길이 시퀀스 처리에 대한 영향.
• 재현 가능성을 위해 오픈소스 벤치마크 스크립트 제공 및 연구자들이 효율적인 프레임워크와 LSTM 유형 선택에 도움 주기.

제안 방법

• 표준 ASR 입력 크기(1x320 및 4x320 유닛, 각각 100 및 1000개의 타임스텝, 특징 차원 123)를 사용하여 LSTM 유닛을 벤치마킹한다.
• 실제 ASR 워크로드를 반영하기 위해 고정 시퀀스(Cross-entropy loss) 및 가변 시퀀스(CTC loss) 시나리오를 평가한다.
• 4개의 딥러닝 프레임워크를 테스트: 파이토치, 텐서플로, 라스네이지(테아노 백엔드), 케라스(테아노 및 텐서플로 백엔드).
• 다양한 LSTM 유형을 포함: 기본/융통성 있는(예: LSTMCell), 융합된(예: LSTMBlockFusedCell), cuDNN 최적화된(예: cuDNNLSTM).
• 각 설정에 대해 100회 반복하여 배치당 학습 시간 측정하고 평균과 표준편차 기록.
• 성능 저하 및 향상 여부 평가를 위해 4개의 파이토치 버전(0.1.12_2부터 0.4.0까지)을 비교한다.

실험 결과

연구 질문

• RQ1 표준 ASR 워크로드에서 가장 빠른 학습 속도를 제공하는 딥러닝 프레임워크와 LSTM 구현은 무엇인가?
• RQ2 최적화된 LSTM 구현(CuDNN, 융합 등)과 융통성 있고 사용자 수정이 가능한 변형 간의 학습 속도는 어떻게 비교되는가?
• RQ3 특히 가변 길이 시퀀스 처리에 있어 파이토치 버전 간 성능 차이는 무엇인가?
• RQ4 손실 함수(Cross-entropy 대비 CTC)와 시퀀스 길이(고정 대비 가변)가 다양한 프레임워크 간 학습 시간에 어떤 영향을 미치는가?
• RQ5 프레임워크 전용 래퍼(예: 케라스/텐서플로 대비 케라스/테아노)가 LSTM 성능에 어떤 영향을 미치는가?

주요 결과

• cuDNN 최적화된 LSTM은 비최적화된 가장 느린 변형 대비 최대 7.2배 빠르며, 파이토치, 텐서플로, 케라스가 cuDNN에서 거의 동일한 성능을 보인다.
• 비최적화된 융통성 있는 LSTM 중에서는 라스네이지의 LSTMLayer, 케라스의 테아노 백엔드, 파이토치의 LSTMCell-basic가 가장 빠르며, 텐서플로의 LSTMCell보다 1.6배 빠르게 학습한다.
• 파이토치 0.4.0은 유연한 LSTMCell-basic 유형에서 파이토치 0.2.0_4보다 최대 2.2배 더 빠르며, 특히 긴 시퀀스에서 시퀀스 처리 성능 향상으로 인해 개선되었다.
• 케라스/테아노 백엔드는 케라스/텐서플로 백엔드보다 1.5배에서 1.7배 더 빠르며, 케라스/텐서플로는 텐서플로의 네이티브 구현보다 1.1배 느리다.
• 고정 시퀀스에서 가변 시퀀스로 전환하면 학습 시간이 10~20% 증가하며, 가장 큰 증가는 라스네이지의 LSTMLayer(1.2배)에서 관찰되었고, 가장 작은 증가는 파이토치(1.1배)에서 관찰되었다.
• 이전 파이토치 버전(0.2.0_4 및 0.1.12_2)은 특히 짧은 시퀀스에서 학습 시간의 표준편차가 상당히 높아 성능의 불안정성을 보였다.