[논문 리뷰] Multi-encoder multi-resolution framework for end-to-end speech recognition

Ruizhi Li, Xiaofei Wang외 4명|arXiv (Cornell University)|2018. 11. 12.

Speech Recognition and Synthesis참고 문헌 16인용 수 15

한 줄 요약

이 논문은 양방향 LSTM 인코더와 CNN-RNN 인코더를 조합한 다중 인코더 다중 해상도(MEMR) 프레임워크를 제안하며, 별도의 CTC 헤드와 계층적 어텐션 메커니즘을 통해 상호보완적인 음성 표현을 융합한다. 이 모델은 WSJ eval92 셋에서 3.6%의 WER를 달성하여 이전의 엔드 투 엔드 시스템 대비 32.1% 상대적 WER 감소를 기록한다.

ABSTRACT

Attention-based methods and Connectionist Temporal Classification (CTC) network have been promising research directions for end-to-end Automatic Speech Recognition (ASR). The joint CTC/Attention model has achieved great success by utilizing both architectures during multi-task training and joint decoding. In this work, we present a novel Multi-Encoder Multi-Resolution (MEMR) framework based on the joint CTC/Attention model. Two heterogeneous encoders with different architectures, temporal resolutions and separate CTC networks work in parallel to extract complimentary acoustic information. A hierarchical attention mechanism is then used to combine the encoder-level information. To demonstrate the effectiveness of the proposed model, experiments are conducted on Wall Street Journal (WSJ) and CHiME-4, resulting in relative Word Error Rate (WER) reduction of 18.0-32.1%. Moreover, the proposed MEMR model achieves 3.6% WER in the WSJ eval92 test set, which is the best WER reported for an end-to-end system on this benchmark.

연구 동기 및 목표

• 이질적인 인코더로부터 유용한 표현을 활용하여 엔드 투 엔드 음성 인식(ASR) 성능을 향상시키기 위해.
• 단일 인코더 모델이 다양한 시간적 및 주파수적 특징을 포착하는 데 한계가 있음을 해결하기 위해 다중 해상도 인코딩을 도입하기 위해.
• 각 인코더별 연결주의 시간 분류(CTC)를 통합하고 CTC/어텐션 병합 학습을 통해 정렬 및 디코딩의 강건성을 향상시키기 위해.
• 각 인코더 기여도를 동적으로 가중하기 위해 계층적 어텐션 메커니즘을 통해 가장 정보가 풍부한 스트림을 적응적으로 선택하기 위해.
• 언어학적 사전 지식 없이도 표준 벤치마크인 WSJ 및 CHiME-4에서 최고 성능을 달성하기 위해.

제안 방법

• MEMR 프레임워크는 두 개의 병렬 인코더를 사용한다: 하나는 양방향 LSTM(RNN) 기반이고, 다른 하나는 CNN과 양방향 LSTM을 조합한 CNN-RNN 기반으로, 각각 다른 시간 해상도를 가진다.
• 각 인코더는 전용 CTC 네트워크와 짝을 이루어 프레임 단위의 정렬 감독을 제공함으로써, 단조성 향상과 오류 전파 감소를 도모한다.
• 계층적 어텐션 메커니즘이 두 인코더 출력에 대해 동적 어텐션 가중치를 계산하여, 각 디코딩 단계에서 더 높은 분류 능력을 지닌 인코더에 더 많은 주의를 기울일 수 있도록 한다.
• 공통 CTC/어텐션 학습 목표는 CTC와 어텐션 손실를 가중합(학습 시 λ=0.2)하여 전체 시스템의 엔드 투 엔드 최적화를 가능하게 한다.
• 모델은 유니그램 레이블 스무딩과 범위가 30인 베이즈 서치 디코딩(WSJ) 또는 20인 디코딩(CHiME-4)을 사용하며, 스케일링 인자 γ=1.0을 갖는 RNN 언어 모델을 통합한다.
• 실험은 PyTorch와 ESPnet를 사용하여 WSJ 및 CHiME-4에서 수행되었으며, 단일 GTX 1080Ti GPU에서 학습하고 미니배치 크기를 15로 설정하였다.

실험 결과

연구 질문

• RQ1 다중 인코더, 다중 해상도 아키텍처가 상호보완적인 음성 특징을 포착함으로써 엔드 투 엔드 ASR 성능을 향상시킬 수 있는가?
• RQ2 각 인코더에 별도의 CTC 네트워크를 할당하면 CTC/어텐션 병합 학습에서 정렬 성능 향상과 WER 감소에 기여하는가?
• RQ3 디코딩 중에 더 정보가 풍부한 인코더 스트림에 더 높은 가중치를 동적으로 할당할 수 있는가?
• RQ4 인코더 아키텍처의 이질성(예: RNN 대비 CNN-RNN)이 다양한 데이터셋에서 모델 성능과 강건성에 어떤 영향을 미치는가?
• RQ5 MEMR 프레임워크는 유사한 파라미터 수를 가진 단일 인코더 모델에 비해 표준 벤치마크에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• MEMR 모델은 WSJ eval92 테스트 세트에서 3.6%의 WER를 기록하여 이 벤치마크에서 기록된 바 있는 엔드 투 엔드 ASR 시스템 중 가장 낮은 WER를 달성한다.
• WSJ1에서 이전의 엔드 투 엔드 시스템 대비 32.1% 상대적 WER 감소를 기록하였으며, WER는 4.6%에서 3.6%로 감소하였다.
• CHiME-4에서 MEMR 모델은 모든 채널 구성(1ch, 2ch, 6ch)에서 19% 상대적 WER 향상을 달성하였으며, et05_real_1ch에서 26.4%의 WER를 기록하였다.
• 각 인코더별 CTC 사용은 일관되게 성능 향상을 이끌었으며, 계층적 어텐션과 결합했을 때 WSJ1에서 WER가 4.3%에서 3.6%로 감소하였다.
• 계층적 어텐션 메커니즘이 인코더 능력에 적응적으로 반응함을 확인: 두 번째 인코더의 LSTM 층 수가 감소함에 따라 어텐션은 더 강력한 첫 번째 인코더 쪽으로 이동하였으며, 인코더1에 대한 평균 어텐션은 0.27에서 0.81로 증가하였다.
• 유사한 파라미터 수(21.3M 대비 21.9M)를 가진 단일 인코더 모델에 비해 MEMR 모델은 CHiME-4에서 18.0–20.8% 상대적 WER 감소, WSJ1에서는 32.1% 감소를 기록하였다.