[논문 리뷰] On Training Recurrent Networks with Truncated Backpropagation Through Time in Speech Recognition

Hao Tang, James Glass|arXiv (Cornell University)|2018. 07. 09.

Speech Recognition and Synthesis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 음성 인식에서 순환 신경망의 장기 의존성 학습 능력에 영향을 주는 학습 및 디코딩 전략—특히 온라인 대 비대칭 디코딩—을 조사한다. 비대칭 디코딩은 LSTMs가 마르코프 유사 함수를 학습하도록 제한하는 반면, 온라인 디코딩은 재귀 함수 학습을 가능하게 한다; 핵심적으로, 최적의 성능을 위해 학습 모드와 디코딩 모드가 일치해야 하며, 퇴화하는 기울기들이 마르코프 행동의 주요 지표가 된다.

ABSTRACT

Recurrent neural networks have been the dominant models for many speech and language processing tasks. However, we understand little about the behavior and the class of functions recurrent networks can realize. Moreover, the heuristics used during training complicate the analyses. In this paper, we study recurrent networks' ability to learn long-term dependency in the context of speech recognition. We consider two decoding approaches, online and batch decoding, and show the classes of functions to which the decoding approaches correspond. We then draw a connection between batch decoding and a popular training approach for recurrent networks, truncated backpropagation through time. Changing the decoding approach restricts the amount of past history recurrent networks can use for prediction, allowing us to analyze their ability to remember. Empirically, we utilize long-term dependency in subphonetic states, phonemes, and words, and show how the design decisions, such as the decoding approach, lookahead, context frames, and consecutive prediction, characterize the behavior of recurrent networks. Finally, we draw a connection between Markov processes and vanishing gradients. These results have implications for studying the long-term dependency in speech data and how these properties are learned by recurrent networks.

연구 동기 및 목표

• 다른 디코딩 전략(온라인 대 비대칭)이 순환 네트워크가 학습할 수 있는 기능 클래스를 어떻게 제약하는지 이해하는 것.
• 절단된 시간을 통한 역전파(Truncated BPTT)를 통한 학습이 모델 성능과 일반화에 어떤 영향을 미치는지 조사하는 것.
• 후행 봉우리, 맥락 프레임, 연속 예측과 같은 설계 선택 사항이 LSTMs에서 장기 의존성 학습에 어떻게 영향을 미치는지 검토하는 것.
• 순환 네트워크에서 마르코프 가정, 리프시츠 연속성, 퇴화 기울기 간의 연결 고리를 설정하는 것.
• 비대칭 디코딩으로 훈련된 LSTMs가 온라인 추론으로 효과적으로 일반화되는지, 그 반대의 경우도 마찬가지인지 판단하는 것.

제안 방법

• 온라인(각 시간 단계에서 예측하는 단일 순환 체인)과 비대칭(고정된 맥락 창을 가진 다중 독립 체인)의 두 디코딩 접근 방식을 비교한다.
• 장기 의존성을 근사하기 위해 학습 중에 고정된 편개 길이를 가진 절단된 시간을 통한 역전파(BPTT)를 적용한다.
• 학습 중에 미래 맥락을 조건으로 삼을 수 있도록 20 프레임 정도의 후행 봉우리 메커니즘을 도입한다.
• 예측 중에 접근 가능한 효과적 역사 양상을 제한하기 위해 맥락 프레임을 적용하여 고정 순서 마르코프 과정을 시뮬레이션한다.
• 연속 예측을 도입하여 모델이 다중 출력을 순차적으로 예측하도록 하여 재귀 함수 학습을 근사한다.
• 리프시츠 연속성과 마르코프 행동의 Proxy로 사용하기 위해 먼 시간 단계(예: t−20)에서 입력으로의 기울기 노름을 경험적으로 평가한다.

실험 결과

연구 질문

• RQ1 온라인과 비대칭 디코딩 전략은 순환 네트워크가 학습할 수 있는 기능 클래스를 어떻게 제약하는가?
• RQ2 절단된 BPTT로 학습하면 장기 의존성을 모델링할 능력이 유지되는가, 그리고 마르코프 가정과는 어떤 관련이 있는가?
• RQ3 비대칭 디코딩으로 훈련된 LSTMs는 온라인 추론으로 일반화될 수 있는가, 그 반대의 경우도 마찬가지인가?
• RQ4 후행 봉우리, 맥락 프레임, 연속 예측과 같은 하이퍼파라미터는 모델 성능과 기능 용량에 어떻게 영향을 미치는가?
• RQ5 퇴화하는 기울기 현상은 순환 네트워크에서 마르코프 함수를 위해 필수적인 조건인가?

주요 결과

• 비대칭 디코딩으로 훈련된 LSTMs는 먼 시간 단계(예: t−20)에서 기울기 노름이 퇴화하는 것으로 나타나, 마르코프 과정과 유사하게 행동함을 확인한다.
• 온라인 디코딩으로 훈련된 LSTMs는 먼 입력에서 기울기 노름이 0이 아닌 상태를 유지하여, 고정 순서 마르코프 모델을 초월한 재귀 함수 학습이 가능함을 시사한다.
• 학습 및 디코딩 모드가 일치할 때 최고의 성능을 기록한다: 온라인 디코딩으로 훈련된 LSTMs는 비대칭 디코딩에서 성능이 열악하며, 그 반대의 경우도 마찬가지다.
• 온라인 디코딩에서는 후행 봉우리(예: 20 프레임)를 늘일수록 훈련 오차가 크게 감소하여 장기 맥락 학습에서의 중요성을 강조한다.
• 연속 예측(예: 15단계)을 늘일수록 단어 오류율(FER)이 56.96%에서 30.93%로 감소하여, 모델이 재귀 함수 학습 방향으로 더 가까워짐을 보여준다.
• 맥락 프레임 수는 예측에 접근 가능한 역사 양을 엄격히 제한하며, 맥락이 너무 짧을 경우 성능이 저하된다(예: 30 프레임 대비 40 프레임).