[논문 리뷰] Cross-Attention End-to-End ASR for Two-Party Conversations

Suyoun Kim, Siddharth Dalmia외 1명|arXiv (Cornell University)|2019. 07. 24.

Speech Recognition and Synthesis참고 문헌 39인용 수 4

한 줄 요약

이 논문은 장기적인 대화에서 양 당사자의 다회화적 맥락을 활용하여 장기 대화 인식을 향상시키기 위해 발화자별로 구분된 대화 맥락을 고려하는 교차 어텐션 엔드 투 엔드 ASR 모델을 제안한다. 현재 발화자와 다른 발화자의 발화력 기록에 주의를 기울이는 발화자별 교차 어텐션 메커니즘을 통합함으로써, Switchboard에서 16.4%의 WER, CallHome에서 29.8%의 WER를 달성하여 기존의 엔드 투 엔드 모델을 능가한다.

ABSTRACT

We present an end-to-end speech recognition model that learns interaction between two speakers based on the turn-changing information. Unlike conventional speech recognition models, our model exploits two speakers' history of conversational-context information that spans across multiple turns within an end-to-end framework. Specifically, we propose a speaker-specific cross-attention mechanism that can look at the output of the other speaker side as well as the one of the current speaker for better at recognizing long conversations. We evaluated the models on the Switchboard conversational speech corpus and show that our model outperforms standard end-to-end speech recognition models.

연구 동기 및 목표

• 장기적인 이중 대화에서 음성 인식 성능을 향상시키기 위해 상대 발화자 간의 맥락적 의존성을 모델링하는 것.
• 기존의 ASR 모델이 상호 발화자 맥락을 간과하고 고립된 발화만에 의존하는 한계를 해결하는 것.
• 음성 표현과 대화 맥락 표현을 함께 최적화하는 통합된 엔드 투 엔드 프레임워크를 개발하는 것.
• 장기적인 발화 간 의존성을 포착하는 데에 발화자별 교차 어텐션 메커니즘이 얼마나 효과적인지 평가하는 것.
• Switchboard와 CallHome와 같은 표준 대화 음성 벤치마크에서 성능 향상을 입증하는 것.

제안 방법

• 모델은 CNN-BLSTM 인코더와 CTC/어텐션 병행 학습 방식을 사용하는 어텐션 기반 디코더를 사용한다.
• 다회차 발화 기록의 BERT 표현에서 유도된 발화자별 대화 맥락 임베딩을 도입한다.
• 교차 어텐션 메커니즘을 통해 각 발화자의 디코더가 자신의 발화력 기록뿐 아니라 상대 발화자의 기록에도 주의를 기울일 수 있도록 한다.
• 모델는 발화자 간의 상호작용을 다이나믹하게 추적하기 위해 matchLSTM 기반 어텐션 메커니즘을 사용한다.
• 미니배치 간 맥락을 유지하기 위해 대화를 순차적으로 배치하는 방식으로 학습을 수행하며, AdaDelta 최적화와 기울기 클리핑을 적용한다.
• 프레임워크는 PyTorch와 ESPnet를 사용해 구현되었으며, 좌우 기반 빔 서치 디코딩과 길이 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 상호 발화자 맥락을 모델링하면 장기적인 이중 대화에서 엔드 투 엔드 ASR 성능이 향상될 수 있는가?
• RQ2 현재 발화자와 다른 발화자의 기록을 비교하는 발화자별 교차 어텐션은 정확도에 어떤 영향을 미치는가?
• RQ3 어텐션 메커니즘을 통해 다회차 발화 기록을 통합하면 기존의 엔드 투 엔드 모델 대비 WER가 감소하는가?
• RQ4 다양한 어텐션 메커니즘(예: matchLSTM 대비 표준 어텐션)은 대화 흐름을 포착하는 데 어떻게 비교되는가?
• RQ5 외부 언어 모델 없이도 통합된 엔드 투 엔드 모델이 음성 표현과 대화 맥락 표현을 함께 최적화할 수 있는가?

주요 결과

• matchLSTM 기반 교차 어텐션을 사용한 제안된 모델은 Switchboard 평가 세트에서 16.4%의 WER를 달성하여 베이스라인 엔드 투 엔드 모델을 능가했다.
• CallHome 세트에서는 29.8%의 WER를 기록하여 베이스라인 대비 1.1%의 상대적 감소를 보였다.
• 모든 기록 길이에서 matchLSTM 버전이 표준 어텐션 메커니즘을 약간 뛰어넘었으며, 이는 대화 흐름을 더 잘 추적함을 시사한다.
• 어텐션 시각화 결과, 모델이 의미적으로 유의미한 발화에 집중하고 'oh'나 'heck yeah'와 같은 짧고 비어 있는 어휘를 무시함을 확인할 수 있었다.
• 추가된 어텐션 파rameter로 인해 수렴이 안정적으로 이루어지기 위해 베이직 대화 모델에서 미리 훈련하는 것이 필수적이었다.
• Switchboard와 CallHome 양쪽 모두에서 일관된 WER 향상이 이루어져 다양한 대화 패턴에 대해 강건함을 입증했다.