[논문 리뷰] A.I. based Embedded Speech to Text Using Deepspeech

Muhammad Hafidh Firmansyah, Anand Paul외 2명|arXiv (Cornell University)|2020. 02. 25.

Speech Recognition and Synthesis참고 문헌 8인용 수 4

한 줄 요약

이 논문은 라즈베리 파이 3B+에서 임베디드 음성 인식 추론을 위한 Deepspeech 버전 0.1.0, 0.1.1, 0.6.0의 성능을 평가하여, Deepspeech 0.6.0이 정확한 변환을 유지하면서도 훨씬 더 빠른 추론(7초 대비 102초)과 자원 사용 감소(100% CPU, 200 MB 메모리 대비 250% CPU, 800 MB 메모리)를 달성함을 보여주며, 텐서플로우 라이트 최적화를 통해 저전력 장치에서 독립적이고 오프라인 음성 인식을 가능하게 한다.

ABSTRACT

Deepspeech was very useful for development IoT devices that need voice recognition. One of the voice recognition systems is deepspeech from Mozilla. Deepspeech is an open-source voice recognition that was using a neural network to convert speech spectrogram into a text transcript. This paper shows the implementation process of speech recognition on a low-end computational device. Development of English-language speech recognition that has many datasets become a good point for starting. The model that used results from pre-trained model that provide by each version of deepspeech, without change of the model that already released, furthermore the benefit of using raspberry pi as a media end-to-end speech recognition device become a good thing, user can change and modify of the speech recognition, and also deepspeech can be standalone device without need continuously internet connection to process speech recognition, and even this paper show the power of Tensorflow Lite can make a significant difference on inference by deepspeech rather than using Tensorflow non-Lite.This paper shows the experiment using Deepspeech version 0.1.0, 0.1.1, and 0.6.0, and there is some improvement on Deepspeech version 0.6.0, faster while processing speech-to-text on old hardware raspberry pi 3 b+.

연구 동기 및 목표

• 라즈베리 파이 3B+와 같은 저성능 임베디드 장치에서 다양한 Deepspeech 버전의 성능을 평가하는 것.
• 사전 훈련된 Deepspeech 모델을 활용해 자원이 제한된 하드웨어에 종단 간 오프라인 음성-텍스트 시스템을 구현할 수 있는지 평가하는 것.
• Deepspeech 버전 0.1.0, 0.1.1, 0.6.0 간 추론 속도, 메모리 소비, CPU 사용량을 비교하는 것.
• 임베디드 플랫폼에서 추론 성능 향상에 텐서플로우 라이트를 사용할 경우의 이점을 입증하는 것.

제안 방법

• 모델 재학습 없이, 실험 전반에 걸쳐 동일한 모델 가중치를 유지하기 위해 버전 0.1.0, 0.1.1, 0.6.0의 사전 훈련된 Deepspeech 모델을 사용한다.
• 모든 버전에서 동일한 2초 길이의 오디오 파일을 사용하여 라즈베리 파이 3B+에서 음성 인식을 수행함으로써 공정한 비교를 확보한다.
• 시스템 모니터링 도구를 활용해 모델 로딩 및 추론 중 실시간으로 자원 사용량(CPU 및 메모리)을 모니터링한다.
• 모델 로딩 시간, 추론 시간, 변환 정확도를 측정하고 각 버전 간 비교한다.
• 표준 텐서플로우 대비 텐서플로우 라이트가 추론 속도에 미치는 영향을 평가하여 성능 향상 정도를 확인한다.
• Deepspeech 아키텍처는 ReLU 활성화 함수를 사용하는 다섯 층의 신경망으로 구성되며, 네 번째 층에는 양방향 RNN이, 출력층에는 문자 수준 예측을 위한 소프트맥스 레이어가 포함되어 있다.

실험 결과

연구 질문

• RQ1 라즈베리 파이 3B+에서 Deepspeech 버전 0.1.0, 0.1.1, 0.6.0의 추론 성능는 어떻게 다를까?
• RQ2 임베디드 Deepspeech 배포에서 텐서플로우 라이트 사용이 추론 속도와 자원 소비에 어떤 영향을 미치는가?
• RQ3 모델 로딩 및 추론 중에 다양한 Deepspeech 버전 간 CPU 및 메모리 사용량은 어떻게 변화하는가?
• RQ4 저성능 하드웨어에서 버전 0.1.0에서 0.6.0으로의 모델 로딩 시간 향상 정도는 어느 정도인가?
• RQ5 각 Deepspeech 버전이 동일한 오디오 파일을 변환할 때 정확도는 어떻게 되며, 기준값에 비해 변환 품질은 어떻게 비교되는가?

주요 결과

• Deepspeech 0.6.0은 2초 길이의 오디오 파일에 대해 라즈베리 파이 3B+에서 추론 시간을 102초(버전 0.1.0 기준)에서 단 7초로 단축시켰다.
• 모델 로딩 시간은 버전 0.1.0 및 0.1.1에서 21초에서 버전 0.6.0에서는 단 0.0036초로 급격히 감소했다.
• CPU 사용량은 버전 0.6.0에서 최대 100%로 안정적으로 유지되었으며, 버전 0.1.0 및 0.1.1에서는 250%에 달해 훨씬 더 높은 효율성을 보였다.
• 메모리 사용량은 이전 버전의 800MB에서 버전 0.6.0에서는 200MB로 감소하여 자원이 제한된 장치에 더 적합하다.
• 속도 및 효율성 향상에도 불구하고, 버전 0.6.0의 변환 결과('She had adored water or')는 버전 0.1.1('She had er duc suot an gresy wahorer all year')보다 정확도가 낮았지만, 둘 다 버전 0.1.0보다 기준값에 더 가까운 결과를 보였다.
• 버전 0.6.0에서 텐서플로우 라이트를 사용함으로써 성능 향상이 크게 이루어져 저전력 임베디드 시스템에서 실시간 오프라인 음성-텍스트 변환이 가능해졌다.