[논문 리뷰] Acoustic-to-Word Recognition with Sequence-to-Sequence Models

Shruti Palaskar, Florian Metze|arXiv (Cornell University)|2018. 07. 23.

Speech Recognition and Synthesis참고 문헌 3인용 수 7

한 줄 요약

이 논문은 어휘사전이나 언어모델 없이 음성에서 단어로 직접 매핑하는 엔드 투 엔드 음성-단어(A2W) 시퀀스-투-시퀀스(S2S) 모델을 제안한다. 어텐션 기반 인코더-디코더 네트워크를 사용하며, Switchboard(300시간)에서 단어 오류율(WER)을 4.4–5.0% 절대적으로 감소시킨다. 또한 최소한의 감독 하에 음성의 단어, 침묵, 비침묵 영역으로의 분할을 학습하며, 어텐션과 은닉 상태 분석을 통해 해석 가능한 음성-단어-벡터를 생성한다.

ABSTRACT

Acoustic-to-Word recognition provides a straightforward solution to end-to-end speech recognition without needing external decoding, language model re-scoring or lexicon. While character-based models offer a natural solution to the out-of-vocabulary problem, word models can be simpler to decode and may also be able to directly recognize semantically meaningful units. We present effective methods to train Sequence-to-Sequence models for direct word-level recognition (and character-level recognition) and show an absolute improvement of 4.4-5.0\% in Word Error Rate on the Switchboard corpus compared to prior work. In addition to these promising results, word-based models are more interpretable than character models, which have to be composed into words using a separate decoding step. We analyze the encoder hidden states and the attention behavior, and show that location-aware attention naturally represents words as a single speech-word-vector, despite spanning multiple frames in the input. We finally show that the Acoustic-to-Word model also learns to segment speech into words with a mean standard deviation of 3 frames as compared with human annotated forced-alignments for the Switchboard corpus.

연구 동기 및 목표

• 어휘사전, 언어모델, 또는 서문자 단위 없이 직접 엔드 투 엔드 음성-단어 음성인식을 가능하게 하기 위해.
• 큰 단어 어휘를 가진 시퀀스-투-시퀀스 모델을 사용하여 Switchboard 코퍼스에서 단어 오류율(WER)을 향상시키기 위해.
• 인코더 은닉 상태와 어텐션 행동을 분석하여 모델의 해석 가능성 분석을 위해.
• 명시적인 감독 없이도 음성이 단어와 휴지로 분할되는 방식을 학습하는지 확인하기 위해.
• 모델의 내부 표현에서 의미적으로 일관된 음성-단어-벡터를 추출하기 위해.

제안 방법

• 엔드 투 엔드 음성-단어 매핑을 위해 인코더에 양방향 LSTMs, 디코더에 단방향 LSTM을 사용하는 어텐션 기반 시퀀스-투-시퀀스(S2S) 모델을 사용한다.
• 강제 정렬 또는 언어모델 재평가 없이, 문장 수준의 정렬이 있는 단어 수준의 전사본을 사용해 모델을 훈련시킨다.
• 변동 길이의 음성 세그먼트와 단어 출력 간의 탄력적인 정렬을 가능하게 하기 위해 위치 기반 어텐션을 활용하며, CTC의 단조로운 제약 조건을 피한다.
• 은닉 상태의 패턴을 분석하여 침묵(안정적인 수평선), 음성(교란), 단어 경계(은닉 단위 전역의 수직 점선 패턴)를 식별한다.
• 인코더의 최종 은닉 상태에서 음성-단어-벡터를 추출하며, t-SNE와 최근접 이웃 분석을 사용해 임베딩 품질을 평가한다.
• 서브단어 단위나 OOV 처리 없이 30,000개의 어휘를 사용하며, 모델의 일반화 능력에 의존한다.

실험 결과

연구 질문

• RQ1 시퀀스-투-시퀀스 모델이 어휘사전이나 언어모델 없이도 음성-단어 음성인식에서 최신 기술 수준의 단어 오류율을 달성할 수 있는가?
• RQ2 모델은 명시적인 감독 없이도 음성을 단어와 휴지로 분할하는 방식을 학습하는가?
• RQ3 모델의 어텐션 메커니즘과 은닉 상태가 다수의 프레임에 걸쳐 일관되고 안정적인 음성-단어-벡터로 단어를 표현할 수 있는가?
• RQ4 학습된 음성-단어-벡터의 분할 정확도는 인간이 애너테이션한 정렬과 비교해 어떻게 되는가?
• RQ5 모델의 내부 표현(예: 임베딩)은 의미적으로 유사한 단어들을 군집화할 수 있는가?

주요 결과

• 제안된 A2W S2S 모델은 이전 작업 대비 Switchboard 코퍼스에서 단어 오류율(WER)을 4.4–5.0% 절대적으로 향상시켰으며, 훈련 데이터로 300시간만 사용했다.
• 모델은 인코더 은닉 상태에서 안정적인 수평선(침묵), 교란(음성), 수직 점선 패턴(단어 경계)을 식별함으로써 음성을 단어, 침묵, 비침묵 영역으로 분할하는 방식을 학습한다.
• 모델 예측 단어 경계의 평균 표준편차는 인간이 애너테이션한 강제 정렬과 비교해 3프레임이므로 높은 분할 정확도를 나타낸다.
• t-SNE 시각화와 최근접 이웃 검색 결과, 음성-단어-벡터가 의미적으로 유사한 단어들을 군집화함으로써 학습된 임베딩의 품질을 확인할 수 있다.
• 모델은 다수의 음성 프레임을 거쳐도 전체 단어를 하나의 320D 벡터로 표현하는 해석 가능한 음성-단어-벡터를 생성한다.
• 위치 기반 어텐션은 변동 길이의 음성 세그먼트와 단어 출력 간의 탄력적인 정렬을 가능하게 하여, 자연스러운 말하기 환경에서 단조로운 CTC 기반 접근 방식을 능가한다.