[논문 리뷰] Pre-training in Deep Reinforcement Learning for Automatic Speech Recognition

Thejan Rajapakshe, Rajib Rana외 3명|arXiv (Cornell University)|2019. 10. 24.

Music and Audio Processing참고 문헌 19인용 수 5

한 줄 요약

이 논문은 수동 음성 명령 인식에서의 수렴 가속화와 정확도 향상을 위해 딥 강화학습(DRL) 에이전트의 사전 훈련을 제안한다. 감독 학습 기반 음성 인식 모델에서 사전 훈련된 특징을 정책 네트워크에 초기화함으로써, DRL 에이전트는 이진, 20개 클래스, 30개 클래스 분류 작업 전반에서 더 빠른 학습 속도와 향상된 최종 성능을 달성한다. Speech Commands 데이터셋에서 성능 향상이 뚜렷하다.

ABSTRACT

Deep reinforcement learning (deep RL) is a combination of deep learning with reinforcement learning principles to create efficient methods that can learn by interacting with its environment. This led to breakthroughs in many complex tasks that were previously difficult to solve. However, deep RL requires a large amount of training time that makes it difficult to use in various real-life applications like human-computer interaction (HCI). Therefore, in this paper, we study pre-training in deep RL to reduce the training time and improve the performance in speech recognition, a popular application of HCI. We achieve significantly improved performance in less time on a publicly available speech command recognition dataset.

연구 동기 및 목표

• 딥 강화학습(DRL)이 음성 인식에 적용될 때 긴 훈련 시간과 샘플 비효율성 문제를 해결한다.
• DRL 에이전트의 신경망을 사전 훈련하면 학습 속도와 최종 정확도가 향상되는지 조사한다.
• 낮은 데이터, 고차원 음성 분류 작업에서 사전 훈련의 효과를 평가한다.
• 사전 훈련이 DRL 기반 음성 명령 분류에서 더 빠른 수렴과 더 나은 일반화를 가능하게 하는지 입증한다.
• 감독 학습 기반 사전 훈련을 활용해 오디오 처리 분야의 DRL 에이전트를 부트스트랩하는 가능성 탐색

제안 방법

• MFCC에서 시간적 및 스펙트럼적 특징을 모델링하기 위해 1D 컨볼루션 레이어와 LSTM 순환 레이어를 조합한다.
• 정책 네트워크로 하이브리드 CNN-LSTM 아키텍처를 사용하고, 이후 완전 연결 레이어와 소프트맥스 출력을 추가하여 분류를 수행한다.
• 행동가치 네트워크(DQN) 프레임워크를 구현하며, 행동은 예측된 음성 명령 클래스에 해당한다.
• 상태 공간을 MFCC 특징 행렬(n×f, n=40개의 MFCC, f=87프레임)로 정의하고, 행동 공간을 가능한 명령어의 집합으로 설정한다.
• 오차 예측과 지연된 결정에 대해 벌점을 주는 희소하고 형태가 조정된 보상 함수를 설계하여 정확도와 속도를 동시에 장려한다.
• 강화학습을 통한 미세조정 이전에 동일한 데이터셋에서 감독 목적을 사용해 CNN-LSTM 기반 네트워크를 사전 훈련한다.

실험 결과

연구 질문

• RQ1 DRL에서 정책 네트워크를 사전 훈련하면 음성 명령 인식에서 훈련 시간 단축과 수렴 속도 향상이 가능한가?
• RQ2 낮은 자원 환경에서의 음성 명령 분류 작업에서 사전 훈련이 DRL 에이전트의 최종 정확도에 어떤 영향을 미치는가?
• RQ3 랜덤 초기화 대비 사전 훈련이 에피소드 간 성능의 안정성과 변동성 감소에 기여하는가?
• RQ4 사전 훈련이 초기 훈련 단계에서 학습 속도에 어떤 영향을 미치는가?
• RQ5 동일한 DRL 프레임워크 내에서 이진, 20개 클래스, 30개 클래스 분류 문제에 대해 사전 훈련이 성능 향상에 기여하는가?

주요 결과

• 사전 훈련은 높은 성능에 도달하는 데 소요되는 시간을 단축시켰다: 사전 훈련이 적용된 이진 작업은 2,500 에피소드 이내에 최대 점수(49.0/50)에 도달했고, 사전 훈련 없이선 10,000 에피소드가 소요되었다.
• 이진 작업에서 사전 훈련이 적용된 경우, 첫 1,000 에피소드 동안 점수 향상 속도가 4.4% 향상되어 더 빠른 학습 역학을 보였다.
• 20개 클래스 작업에서 사전 훈련은 최종 점수를 -23.8에서 37.0으로 향상시켜 60.8% 향상된 성능을 보였다.
• 30개 클래스 작업에서 점수는 -23.4에서 29.0으로 향상되어 52.4% 향상되었으며, 더 큰 분류 문제에 대해서도 적용 가능함을 보였다.
• 사전 훈련된 경우 점수의 표준편차가 더 빠르게 감소하여 시간이 지남에 따라 더 안정적이고 일관된 정책 학습이 이루어짐을 나타냈다.
• 모든 세 가지 분류 시나리오에서 사전 훈련은 더 빠른 수렴과 더 높은 최종 정확도를 이끌어내어, 음성 인식에서 샘플 효율적인 DRL에 효과적임을 확인했다.