[논문 리뷰] Lattice Transformer for Speech Translation

Pei Zhang, Boxing Chen외 2명|arXiv (Cornell University)|2019. 06. 13.

Natural Language Processing Techniques참고 문헌 25인용 수 8

한 줄 요약

이 논문은 자동 음성 인식(ASR)에서 생성된 단어 라티스를 소비할 수 있도록 표준 트랜스포머를 확장하는 가변 라티스 어텐션 메커니즘을 제안한다. 이는 전방, 후방, 경계 확률 점수를 포함한다. 이 방법은 LDC 스팘니시-영어 코퍼스에서 표준 트랜스포머와 라티스-LSTM보다 최대 1.5 BLEU 포인트 향상시키며, WMT 2017 중국어-영어에서 0.55 BLEU 향상된다.

ABSTRACT

Recent advances in sequence modeling have highlighted the strengths of the transformer architecture, especially in achieving state-of-the-art machine translation results. However, depending on the up-stream systems, e.g., speech recognition, or word segmentation, the input to translation system can vary greatly. The goal of this work is to extend the attention mechanism of the transformer to naturally consume the lattice in addition to the traditional sequential input. We first propose a general lattice transformer for speech translation where the input is the output of the automatic speech recognition (ASR) which contains multiple paths and posterior scores. To leverage the extra information from the lattice structure, we develop a novel controllable lattice attention mechanism to obtain latent representations. On the LDC Spanish-English speech translation corpus, our experiments show that lattice transformer generalizes significantly better and outperforms both a transformer baseline and a lattice LSTM. Additionally, we validate our approach on the WMT 2017 Chinese-English translation task with lattice inputs from different BPE segmentations. In this task, we also observe the improvements over strong baselines.

연구 동기 및 목표

• 표준 트랜스포머 아키텍처를 자동 음성 인식(ASR)에서 유도된 라티스 구조 입력을 직접 처리할 수 있도록 확장함으로써, 1-best 가설에 의존하지 않도록 하는 것.
• ASR 라티스의 후행 확률 점수(전방, 후방, 경계)를 어텐션 메커니즘에 통합하여 불확실성 모델링과 강건성 향상을 도모하는 것.
• 라티스 입력을 처리할 수 있는 일반 목적의 프레임워크를 개발하여 음성 번역 및 텍스트 번역 작업을 모두 지원하는 것.
• 낮은 자원 환경 및 높은 불확실성 상황에서 라티스 인식 어텐션의 성능 향상이 표준 트랜스포머와 라티스-LSTM을 초월하는지 확인하는 것.
• 확률 점수가 제공되지 않을 경우 모델이 표준 트랜스포머로 감소할 수 있음을 보여주어 모델의 유연성을 검증하는 것.

제안 방법

• 라티스 구조를 상대적 위치 임베딩을 사용하여 인코딩하는 라티스 상대적 위치 어텐션 메커니즘을 제안하여 공유 경로에 있는 토큰으로 어텐션을 제한하는 것.
• ASR 라티스의 전방, 후방, 경계 확률 점수를 학습 가능한 어텐션 가중치로 통합하여 불확실성 인식 어텐션 계산을 가능하게 하는 것.
• 라티스 점수에 기반해 동적으로 어텐션을 조정하는 제어 가능한 어텐션 메커니즘을 설계하여 라티스 정보의 탄력적 융합을 가능하게 하는 것.
• 표준 트랜스포머 인코더 및 디코더를 라티스 어텐션을 사용하도록 수정하여 라티스 입력에 대한 엔드 투 엔드 훈련을 가능하게 하는 것.
• BPE 기반 라티스를 여러 세그멘테이션으로부터 유도한 LDC 스팘니시-영어(음성 번역) 및 WMT 2017 중국어-영어(텍스트 번역) 데이터셋에서 모델을 훈련하는 것.
• 각 점수 유형 및 모듈의 기여도를 분석하기 위해 피니튜닝 및 아블레이션 연구를 수행하는 것.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 1-best 가설 외에 ASR 시스템에서 유도된 라티스 구조 입력을 효과적으로 소비할 수 있는가?
• RQ2 ASR 라티스의 전방, 후방, 경계 확률 점수가 어텐션 계산 및 번역 성능에 어떤 영향을 미치는가?
• RQ3 라티스 구조와 불확실성 정보를 통합함으로써 표준 트랜스포머 및 라티스-LSTM보다 번역 품질이 향상되는가?
• RQ4 라티스 트랜스포머는 BPE 세그멘테이션에서 유도된 서브워드 라티스 입력을 사용한 텍스트 번역 작업으로 일반화 가능한가?
• RQ5 다양한 라티스 점수(경계, 전방, 후방)가 어텐션 메커니즘의 최종 성능에 기여하는 비율은 어떻게 되는가?

주요 결과

• LDC 스팘니시-영어 음성 번역 데이터셋에서, 라티스 트랜스포머는 표준 트랜스포머보다 1.5 BLEU 포인트 높고, 라티스-LSTM보다 1.2 BLEU 포인트 높다.
• 경계 점수가 성능 향상에 가장 크게 기여하며, 인코더와 디코더에서 함께 사용할 경우 가장 높은 향상도를 기록한다.
• WMT 2017 중국어-영어 텍스트 번역 작업에서, 라티스 트랜스포머는 24.81 BLEU를 기록하여 베이직 트랜스포머(24.26)를 초월하고, 더 큰 크기의 트랜스포머-빅 모델(24.20)과 동일한 성능을 기록한다.
• 라티스 입력에서부터 학습을 시작할 경우 피니튜닝보다 빠르게 수렴하고 더 높은 성능을 달성하여, 라티스 구조가 강력한 인덕티브 바이어스를 제공한다는 것을 시사한다.
• 모델은 텍스트 번역 작업으로도 잘 일반화되며, 음성 입력이 없더라도 BPE 세그멘테이션에서 유도된 라티스 입력이 번역 품질 향상에 기여할 수 있음을 보여준다.
• 어텐션 시각화 결과, 모델이 모호하거나 저신뢰도 영역에서 더 타당한 라티스 경로를 주로 어텐션하는 것을 확인할 수 있다.