[논문 리뷰] Decision Attentive Regularization to Improve Simultaneous Speech Translation Systems

Mohd Abbas Zaidi, Beomseok Lee외 2명|arXiv (Cornell University)|2021. 10. 13.

Natural Language Processing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 동시성 음성 번역(SimulST)에서 독서/쓰기 결정 정책을 개선하기 위해 동시성 텍스트-텍스트 번역(SimulMT) 모델의 단조적 어텐션 에너지를 활용하는 Decision Attentive Regularization(DAR)을 제안한다. DAR는 지연 시간을 줄이며 번역 품질을 향상시켜, MuST-C En-De 데이터셋에서 다양한 지연 수준에서 기준 모델 대비 34.66% 상대적 향상(4.5 BLEU 포인트)을 달성한다.

ABSTRACT

Simultaneous translation systems start producing the output while processing the partial source sentence in the incoming input stream. These systems need to decide when to read more input and when to write the output. These decisions depend on the structure of source/target language and the information contained in the partial input sequence. Hence, read/write decision policy remains the same across different input modalities, i.e., speech and text. This motivates us to leverage the text transcripts corresponding to the speech input for improving simultaneous speech-to-text translation (SimulST). We propose Decision Attentive Regularization (DAR) to improve the decision policy of SimulST systems by using the simultaneous text-to-text translation (SimulMT) task. We also extend several techniques from the offline speech translation domain to explore the role of SimulMT task in improving SimulST performance. Overall, we achieve 34.66% / 4.5 BLEU improvement over the baseline model across different latency regimes for the MuST-C English-German (EnDe) SimulST task.

연구 동기 및 목표

• 음성 입력의 복잡성으로 인해 본질적으로 도전적인 동시성 음성 번역(SimulST) 시스템의 독서/쓰기 결정 정책을 향상시키기 위해.
• 동시성 텍스트-텍스트 번역(SimulMT) 모델에서의 결정이 SimulST에 대한 지도 신호로 작용할 수 있는지 조사하기 위해.
• 기존의 오프라인 음성 번역 기법—다중 작업 학습, 온라인 지식 정복(KD), 교차 어텐션 정규화(CAR)—을 동시 번역 설정으로 확장하기 위해.
• 음성과 텍스트 입력 간의 단조적 어텐션 에너지를 정렬하는 크로스모달 정규화 메커니즘을 개발하여 결정 정책 학습을 향상시키기 위해.
• 추론 지연 시간을 증가시키지 않고 SimulST에서의 성능 향상을 크게 달성하기 위해.

제안 방법

• DAR는 자기 어텐션 및 교차 어텐션 연산을 사용하여 공유된 공간으로 매핑된 음성(SimulST)과 텍스트(SimulMT) 입력의 단조적 어텐션 에너지 행렬 간의 크로스모달 유사도를 계산한다.
• 공통된 훈련 중에 유사도를 측정하고 차이를 최소화하기 위해 재구성된 어텐션 표현(A^{s→t} 및 A^{t→t}) 간의 L2 거리를 사용한다.
• 제안된 손실은 단조적 다중헤드 어텐션(MMA)을 사용해 시그모이드 변환된 어텐션 에너지를 통해 이산 독서/쓰기 결정을 학습하는 MMA 기반 SimulST 모델의 훈련에 통합된다.
• 이 방법은 기존 기법들과 결합된다: 다중 작업 학습, 온라인 KD, CAR, 데이터 증강을 통해 SimulST 및 SimulMT 목표를 공동 최적화한다.
• 모델은 MMA-DAR로 종료되며, 모든 구성 요소—데이터 증강, 다중 작업 학습, 온라인 KD, CAR, DAR—이 통합되어 최적의 성능을 달성한다.
• 모델은 MuST-C En-De 데이터셋에서 엔드 투 엔드로 훈련되며, 훈련 중에 어텐션 에너지 정렬이 이루어져 결정 정책 학습을 안내한다.

실험 결과

연구 질문

• RQ1 SimulMT에서 학습된 결정 정책이 SimulST 모델의 성능을 향상시킬 수 있는가?
• RQ2 음성과 텍스트 입력 간의 단조적 어텐션 에너지를 정렬하면 SimulST에서 더 나은 독서/쓰기 결정을 이끌 수 있는가?
• RQ3 오프라인 ST 기법들—예를 들어 온라인 KD와 CAR—이 동시 번역 설정으로 일반화되는 정도는 어느 정도인가?
• RQ4 크로스모달 어텐션 정규화는 추론 지연을 증가시키지 않고 SimulST의 지연-품질 트레이드오���을 줄일 수 있는가?
• RQ5 DAR의 성능 향상은 다양한 지연 수준에서 통계적으로 유의미한가?

주요 결과

• DAR는 MuST-C En-De 데이터셋에서 다양한 지연 수준에서 기준 모델인 MMA 대비 4.5 BLEU 포인트 향상한다.
• 34.66%의 상대적 향상은 모든 지연 수준에서 일관되며, 포인트는 0.7에서 1.2 BLEU 포인트 사이에서 변동한다.
• DAR와 데이터 증강, 다중 작업 학습, 온라인 KD, CAR을 통합한 최종 MMA-DAR 모델은 MuST-C En-De 테스트 세트에서 22.35 BLEU를 달성한다.
• DAR의 개선 효과는 대응 t-검정을 통해 99% 신뢰수준에서 통계적으로 유의미하다(p = 0.002).
• 모든 평가 지점에서 기준 모델보다 낮은 지연 시간을 유지하며, MMA-DAR는 유사하거나 감소된 지연 시간에서 더 높은 BLEU 점수를 달성한다.
• DAR의 성능 향상은 입력 수준의 정규화(예: CAR)보다 훨씬 높은 것으로 나타나, 결정 정책 정규화가 특징 수준의 정복보다 더 효과적임을 시사한다.