[논문 리뷰] Advancing Connectionist Temporal Classification With Attention Modeling

Amit Das, Jinyu Li외 2명|arXiv (Cornell University)|2018. 03. 15.

Speech Recognition and Synthesis참고 문헌 17인용 수 5

한 줄 요약

이 논문은 캐릭터 기반 엔드 투 엔드 음성 인식을 향상시키기 위해 주의 메커니즘을 연결주의 시간 분류(CTC) 프레임워크에 직접 통합하는 방법을 제안한다. 시간 컨볼루션 특징, 컨텍스트 벡터, 암시적 언어 모델링 및 구성요소별 주의 가중치를 사용함으로써, 단일 방향 및 이중 방향 LSTMs를 포함한 다양한 설정에서 일관되게 18.75%에서 21.06%까지의 상대적 단어 오류률(WER) 감소를 달성하였다. 이는 28자 및 83자 문자 집합을 사용한 실험에서 확인되었다.

ABSTRACT

In this study, we propose advancing all-neural speech recognition by directly incorporating attention modeling within the Connectionist Temporal Classification (CTC) framework. In particular, we derive new context vectors using time convolution features to model attention as part of the CTC network. To further improve attention modeling, we utilize content information extracted from a network representing an implicit language model. Finally, we introduce vector based attention weights that are applied on context vectors across both time and their individual components. We evaluate our system on a 3400 hours Microsoft Cortana voice assistant task and demonstrate that our proposed model consistently outperforms the baseline model achieving about 20% relative reduction in word error rates.

연구 동기 및 목표

• 표준 CTC에서의 하드 어울림 및 조건부 독립성 제약을 해결하기 위해 주의 모델링을 CTC 프레임워크에 직접 통합한다.
• 언어 모델링 부족과 어울림 유연성 부족으로 인해 일반적으로 높은 WER를 보이는 캐릭터 기반 CTC 성능을 향상시킨다.
• 외부 언어 모델이나 복잡한 디코딩이 필요 없이 순수 CTC의 단점을 보완함으로써 자원이 제한된 환경에서의 성능을 향상시킨다.
• 단일 방향/이중 방향 아키텍처와 다양한 출력 어휘(28자 및 83자 문자 집합)에서 일관된 WER 향상을 입증한다.

제안 방법

• 시간 컨볼루션 특징를 사용해 시간적 의존성을 캐치하고 CTC에서 부드러운 어울림을 가능하게 하는 컨텍스트 벡터를 유도한다.
• 시간과 그 구성요소별로 비균일한 주의 가중치를 컨텍스트 벡터에 적용하여 장거리 의존성을 모델링한다.
• 학습 중에 암시적 언어 모델링을 통합하여 맥락 이해를 향상시키고 출력 시퀀스의 일관성을 개선한다.
• 컨텍스트 벡터의 특징 차원까지 주의 가중치를 적용하는 구성요소 주의(COMA)를 도입한다.
• 주어진 CTC 손실을 사용해 엔코더와 예측 네트워크 내부에 주의 모듈을 통합하면서 엔드 투 엔드로 모델을 훈련시킨다.
• 하이브리드 CTC 시스템에서 문자와 단어 출력을 통합하기 위해 공유된 은닉층을 사용하여 개선된 문자 수준 모델링을 활용한다.

실험 결과

연구 질문

• RQ1 외부 언어 모델에 의존하지 않고 CTC 프레임워크 내부에 주의 모델링을 효과적으로 통합할 수 있는가?
• RQ2 시간 컨볼루션 특징와 컨텍스트 벡터를 사용하면 CTC에서 부드러운 어울림이 가능해져 표준 CTC가 지닌 하드 어울림 편향을 줄일 수 있는가?
• RQ3 CTC 프레임워크 내부의 암시적 언어 모델링이 캐릭터 수준의 ASR 성능에 어느 정도 향상시키는가?
• RQ4 구성요소별 주의(COMA)는 CTC에서 시간적 의존성과 특징 수준의 의존성을 어떻게 향상시키는가?
• RQ5 제안된 CTC-attention 모델은 다양한 모델 아키텍처와 출력 어휘에서 일관된 WER 향상을 달성할 수 있는가?

주요 결과

• 제안된 CTC-attention 모델은 28자 문자 집합을 사용한 단일 방향 5층 LSTM에서 기존 CTC 대비 18.75% 상대적 WER 감소를 달성했다.
• 28자 문자 집합을 사용한 이중 방향 5층 LSTM에서는 기준 모델 대비 21.06% 상대적 WER 향상을 달성했다.
• 83자 문자 집합을 사용한 실험에서도 20.61% 상대적 WER 감소를 기록하여 다양한 출력 어휘에 대한 강건성을 입증했다.
• 컨텍스트 벡터, 컨텍스트 주의, 이력 주의, 언어 모델링, 구성요소 주의의 순차적 추가 과정에서 일관되고 누적적인 WER 향상이 관찰되었다.
• 기준 모델이 이중 방향 LSTMs와 더 큰 문자 집합을 사용하더라도 여전히 CTC-attention 모델이 뛰어난 성능을 보였으며, 이는 강력한 일반화 능력을 시사한다.
• 이 방법은 외부 대규모 언어 모델에 의존하지 않고도 고정밀 캐릭터 기반 CTC 시스템을 구축할 수 있도록 하여 하이브리드 음성-단어 CTC 모델에 적합하다.