[논문 리뷰] Efficient Implementation of the Room Simulator for Training Deep Neural Network Acoustic Models

Chanwoo Kim, Ehsan Variani외 2명|arXiv (Cornell University)|2017. 12. 09.

Speech and Audio Processing참고 문헌 32인용 수 3

한 줄 요약

이 논문은 FFTW3를 사용하여 오버랩-애드(OLA) 필터링을 기반으로 한 효율적인 CPU 기반 실내 시뮬레이터를 제안한다. 이는 딥 뉴럴 네트워크 음성 모델의 데이터 생성을 가속화하기 위한 것이다. 정점 전력 대비 20 dB 이하로 떨어지는 실내 임펄스 응답(RIR)을 잘라내어 CPU 사용률을 80%에서 9.69%로 감소시키고, 구글의 분산 학습 인프라에서 37.3배의 속도 향상을 이룩했으며, 시뮬레이션된 또는 재기록된 원거리 음성 테스트 세트에서 음성 인식 정확도에 영향을 주지 않았다.

ABSTRACT

In this paper, we describe how to efficiently implement an acoustic room simulator to generate large-scale simulated data for training deep neural networks. Even though Google Room Simulator in [1] was shown to be quite effective in reducing the Word Error Rates (WERs) for far-field applications by generating simulated far-field training sets, it requires a very large number of Fast Fourier Transforms (FFTs) of large size. Room Simulator in [1] used approximately 80 percent of Central Processing Unit (CPU) usage in our CPU + Graphics Processing Unit (GPU) training architecture [2]. In this work, we implement an efficient OverLap Addition (OLA) based filtering using the open-source FFTW3 library. Further, we investigate the effects of the Room Impulse Response (RIR) lengths. Experimentally, we conclude that we can cut the tail portions of RIRs whose power is less than 20 dB below the maximum power without sacrificing the speech recognition accuracy. However, we observe that cutting RIR tail more than this threshold harms the speech recognition accuracy for rerecorded test sets. Using these approaches, we were able to reduce CPU usage for the room simulator portion down to 9.69 percent in CPU/GPU training architecture. Profiling result shows that we obtain 22.4 times speed-up on a single machine and 37.3 times speed up on Google's distributed training infrastructure.

연구 동기 및 목표

• 원거리 음성 인식을 위한 딥 러닝 학습 중 실내 시뮬레이션으로 인한 높은 CPU 오버헤드를 줄이기 위해.
• 복합 RIR 필터링을 사용한 대규모 시뮬레이션 원거리 훈련 데이터 생성의 계산 병목 현상을 해결하기 위해.
• RIR 잘라내기가 음성 인식 성능에 미치는 영향을 조사하여 계산 효율성을 최적화하기 위해.
• CPU/GPU 아키텍처에서 실내 시뮬레이터의 계산 부담을 최소화하여 확장 가능하고 분산 학습을 가능하게 하기 위해.

제안 방법

• 오픈소스 FFTW3 라이브러리를 사용하여 효율적인 오버랩-애드(OLA) 기반 필터링 방법을 구현하여 컨볼루션 연산을 가속화하기 위해.
• 가상의 음원과 거리 기반 경로 손실을 사용하여 반사벽이 있는 3차원 상자형 실내에서 실내 임펄스 응답(RIR)을 모델링하기 위해 이미지 방법을 적용하기 위해.
• 각 훈련 에포크마다 반사 계수와 소스 위치에 랜덤 분포를 적용하여 다양한 음향 환경을 생성하기 위해.
• 정점 진폭 대비 전력이 20 dB 이하로 떨어지는 지점부터 RIR을 잘라내어 정확도를 훼손하지 않으면서도 계산을 감소시키기 위해.
• 최적화된 시뮬레이터를 CPU/GPU 훈련 파이프라인에 통합하여, GPU에서 특징 추출 및 모델 학습 전에 시뮬레이션된 발화를 생성하기 위해.
• 단일 머신과 구글의 Borg 클러스터에서 CPU 사용률과 속도 향상을 프로파일링하여 성능 향상의 타당성을 검증하기 위해.

실험 결과

연구 질문

• RQ1 원거리 시나리오에서 음성 인식 정확도를 유지하기 위해 필요한 최소 RIR 길이는 얼마인가?
• RQ2 일정 전력 임계값 이하로 RIR을 잘라내는 것이 시뮬레이션된 테스트 세트와 실제 환경에서 재기록된 테스트 세트의 인식 성능에 어떤 영향을 미치는가?
• RQ3 FFTW3를 사용한 OLA 기반 필터링이 CPU/GPU 훈련 파이프라인에서 CPU 사용률을 얼마나 줄일 수 있는가?
• RQ4 정확도를 저하시키지 않고도 분산 학습 환경에서 상당한 속도 향상을 달성할 수 있는가?

주요 결과

• 정점 전력 대비 20 dB 이하로 떨어지는 RIR을 잘라내는 것은 시뮬레이션된 원거리 테스트 세트와 재기록된 원거리 테스트 세트에서 모두 단어 오류률(WER)에 측정 가능한 영향을 주지 않았다.
• 정점 전력 대비 5 dB 이하로 잘라내는 것은 특히 반사 조건이 강한 환경에서 인식 정확도를 심각하게 떨어뜨리며, 이는 긴 尾음 RIR 성분이 강건성에 필수적임을 시사한다.
• 최적화된 OLA 기반 필터링과 FFTW3를 사용하면 CPU/GPU 훈련 아키텍처에서 실내 시뮬레이터의 CPU 사용률을 80%에서 9.69%로 감소시켰다.
• 이 방법은 단일 머신에서 22.4배의 속도 향상을, 구글의 분산 Borg 클러스터에서는 37.3배의 속도 향상을 달성했다.
• 성능 향상의 주요 원인은 RIR 잘라내기로 감소한 FFT 계산과 FFTW3를 활용한 효율적인 OLA 필터링에 기인한다.
• 이 방법은 정확도를 훼손하지 않으면서도 원거리 음성 인식을 위한 확장 가능하고 고처리량의 데이터 증강을 가능하게 한다.