[논문 리뷰] Deep Reinforcement Learning with Pre-training for Time-efficient Training of Automatic Speech Recognition

Thejan Rajapakshe, Siddique Latif외 3명|arXiv (Cornell University)|2020. 05. 21.

Speech Recognition and Synthesis참고 문헌 25인용 수 11

한 줄 요약

이 논문은 음성 명령 데이터셋에서 자동 음성 인식(ASR)을 위한 깊이 강화학습(DRL)에 대한 사전 훈련 전략을 제안한다. 이 전략은 지도 학습을 통해 사전 훈련된 DNN를 사용해 정책 네트워크를 초기화한다. 사전 훈련된 특징을 활용함으로써 DRL 에이전트는 훨씬 더 빠른 수렴 속도와 높은 정확도를 달성한다—초기 200 에피소드 동안 최대 21.11% 향상—동시에 훈련 시간을 단축하고 여러 ASR 작업에서 일관성 있는 성능을 보인다.

ABSTRACT

Deep reinforcement learning (deep RL) is a combination of deep learning with reinforcement learning principles to create efficient methods that can learn by interacting with its environment. This has led to breakthroughs in many complex tasks, such as playing the game "Go", that were previously difficult to solve. However, deep RL requires significant training time making it difficult to use in various real-life applications such as Human-Computer Interaction (HCI). In this paper, we study pre-training in deep RL to reduce the training time and improve the performance of Speech Recognition, a popular application of HCI. To evaluate the performance improvement in training we use the publicly available "Speech Command" dataset, which contains utterances of 30 command keywords spoken by 2,618 speakers. Results show that pre-training with deep RL offers faster convergence compared to non-pre-trained RL while achieving improved speech recognition accuracy.

연구 동기 및 목표

• 깊이 강화학습(DRL)이 음성 인식에 적용될 때 요구되는 높은 훈련 시간과 데이터 요구량을 해결하기 위해.
• 지도 학습을 통해 사전 훈련된 DNN 가중치로 정책 네트워크를 사전 훈련하면 DRL 훈련 속도가 빨라지고 성능 향상이 이루어지는지 조사하기 위해.
• 사전 훈련이 ASR 작업에서 수렴 속도, 정확도, 훈련 일관성에 미치는 영향을 평가하기 위해.
• 음성 처리 분야에서는 시각이나 게임 분야에 비해 아직 탐색이 부족한 분야이지만, DRL에 사전 훈련을 적용할 수 있는 가능성을 입증하기 위해.
• 이진, 20클래스, 30클래스 음성 명령 분류 작업을 대상으로 사전 훈련된 DRL과 비사전 훈련된 DRL 간의 벤치마킹을 수행하기 위해.

제안 방법

• 학습 데이터의 80%를 사용해 경사 하강법을 사용해 음성 명령 데이터셋에서 기존 DNN를 지도 학습을 통해 사전 훈련한다.
• 학습된 DNN 가중치를 DRL 에이전트의 정책 네트워크 초기화에 사용함으로써 지도 학습의 특징 전이를 가능하게 한다.
• 음성 명령 인식 작업을 상태 공간 S, 행동 공간 A, 전이 정책 P, 보상 함수 R를 포함하는 마르코프 결정 과정(MDP)으로 공식화한다.
• 에이전트가 관측 결과에 기반해 행동을 선택하고 보상을 받으며, Adam 옵timizer를 사용해 정책 네트워크를 업데이트하는 DRL 프레임워크를 구현한다.
• 에피소드 정확도를 H_i = η_correct / η로 계산하며, 여기서 η = 1회 에피소드당 50단계이며, 목표값과 예측값 간의 손실을 최소화한다.
• 예측된 Q-값과 목표 Q-값 간의 차이를 최소화함으로써 훈련 안정성과 수렴 성능 향상을 위해 타겟 네트워크를 사용한다.

실험 결과

연구 질문

• RQ1 지속적인 DNN 가중치로 정책 네트워크를 사전 훈련하면 음성 명령 인식에서 깊이 강화학습의 훈련 시간을 줄일 수 있는가?
• RQ2 사전 훈련은 저자료, 고차원 음성 분류 작업에서 DRL 에이전트의 수렴 속도와 최종 정확도를 향상시키는가?
• RQ3 정확도의 표준편차를 에피소드 단위로 측정했을 때, 사전 훈련은 DRL 훈련의 일관성과 안정성에 어떤 영향을 미치는가?
• RQ4 비사전 훈련된 DRL과 지도 학습 기반 기준 모델 간의 성능 격차를 사전 훈련이 어느 정도 줄일 수 있는가?
• RQ5 이중, 20클래스, 30클래스 분류 복잡도에 따라 사전 훈련의 이점이 음성 명령 데이터셋에서 일관되게 유지되는가?

주요 결과

• 사전 훈련은 높은 정확도에 도달하기 위해 필요한 에피소드 수를 줄였으며, 이중 분류 작업에서 200 에피소드 후 평균 정확도가 21.11% 향상되었다.
• 10,000 에피소드 후, 사전 훈련된 DRL 에이전트는 이중 작업에서 100%의 정확도를 달성했고, 비사전 훈련된 에이전트는 80%의 정확도를 기록했다.
• 20클래스 작업에서 사전 훈련은 정확도를 25.71% (비사전 훈련)에서 87.76% (사전 훈련)로 끌어올려 62.04% 포인트 향상시켰다.
• 30클래스 작업에서 사전 훈련된 에이전트는 10,000 에피소드 후 79.59%의 정확도를 기록했고, 비사전 훈련된 버전은 26.12%의 정확도를 기록했다.
• 사전 훈련된 실험에서 정확도의 표준편차가 더 빨리 감소하여, 훈련의 일관성과 안정성이 향상됨을 나타냈다.
• 사전 훈련된 에이전트의 정확도 향상 속도는 첫 2,000 에피소드 동안 뚜렷하게 빨라져 더 빠른 학습 역학을 확인했다.