[논문 리뷰] Learning Online Alignments with Continuous Rewards Policy Gradient

Yuping Luo, Chung‐Cheng Chiu외 2명|arXiv (Cornell University)|2016. 08. 03.

Topic Modeling참고 문헌 17인용 수 10

한 줄 요약

이 논문은 연속 보상과 정책 그래เดียน트 훈련을 사용한 하드 온라인 정렬을 갖춘 시퀀스-투-시퀀스 모델을 제안하여, 전체 입력 시퀀스를 사전에 확보하지 않아도 실시간 음성 인식이 가능하도록 한다. 확률적 이진 결정을 통해 출력 방출을 유도함으로써, TIMIT 및 WSJ 데이터셋에서 뛰어난 성능을 달성하여 온라인 음성 기반 번역 시스템의 가능성을 입증한다.

ABSTRACT

Sequence-to-sequence models with soft attention had significant success in machine translation, speech recognition, and question answering. Though capable and easy to use, they require that the entirety of the input sequence is available at the beginning of inference, an assumption that is not valid for instantaneous translation and speech recognition. To address this problem, we present a new method for solving sequence-to-sequence problems using hard online alignments instead of soft offline alignments. The online alignments model is able to start producing outputs without the need to first process the entire input sequence. A highly accurate online sequence-to-sequence model is useful because it can be used to build an accurate voice-based instantaneous translator. Our model uses hard binary stochastic decisions to select the timesteps at which outputs will be produced. The model is trained to produce these stochastic decisions using a standard policy gradient method. In our experiments, we show that this model achieves encouraging performance on TIMIT and Wall Street Journal (WSJ) speech recognition datasets.

연구 동기 및 목표

• 출력을 생성하기 전에 전체 입력 시퀀스가 필요로 하는 시퀀스-투-시퀀스 모델의 한계를 해결함으로써, 음성 기반 번역과 같은 실시간 응용 프로그램에 장애를 초래하는 문제를 해결한다.
• 입력이 도착하는 대로 점진적으로 출력을 생성할 수 있도록 온라인 추론을 가능하게 하여 전체 시퀀스를 기다리지 않도록 한다.
• 감독 학습과 정책 그래디언트 최적화를 결합하여 출력 토큰을 방출할 시점을 학습하는 확률적 결정을 개발한다.
• 이러한 접근 방식이 대규모 음성 인식 작업에서 효과적임을 입증하여, 실시간 엔드 투 엔드 음성 번역 시스템의 길을 열고자 한다.

제안 방법

• 각 시간 단계에서 출력 토큰을 방출할지 여부를 결정하기 위해 확률적 이진 단위를 갖춘 순환 신경망을 사용한다.
• 출력 방출 결정을 베르누이 분포를 가진 확률적 변수로 모델링하며, REINFORCE 정책 그래디언트 추정기를 통해 미분 가능하게 한다.
• 정확도 기반 보상과 함께 정책 그래디언트 방법을 사용하여 모델을 훈련하여 올바른 출력 시퀀스의 로그우도를 최대화한다.
• 이전 출력과 결정의 피드백을 RNN 은닉 상태에 통합하여 시퀀스 의존성과 모델의 일관성을 유지한다.
• 학습을 안정화시키고 조기 수렴을 방지하기 위해 기울기 클리핑과 엔트로피 정규화를 적용한다.
• 더 큰 WSJ 데이터셋을 훈련하기 위해 300개의 유닛을 가진 3개의 스택된 LSTM을 사용하고, 50개의 복제본을 가진 비동기적 SGD를 적용한다.

실험 결과

연구 질문

• RQ1 전체 입력 시퀀스를 요구하지 않는 하드 온라인 정렬을 갖춘 시퀀스-투-시퀀스 모델이 음성 인식 작업에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 확률적 이진 결정을 사용한 정책 그래디언트 접근 방식이 온라인 환경에서 출력 토큰을 방출할 시점을 학습하는 데 얼마나 효과적인가?
• RQ3 연속 보상과 정책 그래디언트 훈련이 비미분 가능하고 확률적인 결정 프레임워크에서 안정적이고 정확한 학습을 가능하게 하는가?
• RQ4 이 방법은 TIMIT 외에도 더 큰 복잡한 음성 인식 데이터셋인 WSJ에 대해 성능을 유지하면서 확장 가능한가?
• RQ5 방출 결정이 입력 오디오의 시간과 어떻게 관련되어 있으며, 새로운 관련 정보가 도착할 때만 방출을 학습하는가?

주요 결과

• 모델은 TIMIT 데이터셋에서 유망한 성능를 보이며, 온라인 추론을 위한 실시간 음성 인식의 가능성을 입증했다.
• 더 큰 WSJ 데이터셋에서, 비교적 작은 아키텍처(300개 유닛을 가진 2층 스택된 LSTM)를 사용함에도 불구하고 합리적인 정확도를 달성하여 확장 가능성의 잠재력을 보였다.
• 모델은 새로운 오디오 입력이 도착할 때 주로 출력 토큰을 방출하는 방식으로 학습하여, 입력 처리와 출력 생성 간의 효과적인 정렬을 이룸을 보였다.
• 부드러운 결정(소프트 결정)과 실제 방출 결정(하드 결정) 간의 상관관계를 통해, 모델은 종종 발화의 끝에 가까워서야 최종 출력을 지연시키는 경향을 보였으며, 이는 조기 또는 잘못된 예측을 피하기 위함으로 보였다.
• 일부 사례에서는 전체 발화를 정확하게 변환했으며, 한 예에서는 단 한 단어만 잘못 예측(AND → END)된 것을 제외하고는 전체 전사가 정확했다.
• 드롭아웃은 초기 단계에 적용할 경우 학습을 방해했기 때문에, 후기 단계로 연기되었으며, 이는 정책 그래디언트 훈련에서 정규화 시점에 민감함을 시사한다.