[논문 리뷰] M3ST: Mix at Three Levels for Speech Translation

Xuxin Cheng, Qianqian Dong외 4명|arXiv (Cornell University)|2022. 12. 07.

Natural Language Processing Techniques인용 수 14

한 줄 요약

이 논문은 엔드 투 엔드 음성 번역을 위한 새로운 데이터 증강 방법인 M³ST을 제안한다. M³ST는 믹업 스타일 기법을 사용하여 단어, 문장, 프레임의 세 수준에서 훈련 데이터를 혼합한다. 두 단계의 피니어 투닝과 제닝-섀넌 분산 정규화를 포함하여, 사전 학습된 모델을 최적화함으로써 M³ST는 MuST-C 벤치마크에서 상태의 기준을 달성하며, 여덟 방향 평균 BLEU 점수 29.9를 기록한다. 일부 경우에서는 외부 기계 번역(MT) 데이터를 사용하는 모델를 초월한다.

ABSTRACT

How to solve the data scarcity problem for end-to-end speech-to-text translation (ST)? It's well known that data augmentation is an efficient method to improve performance for many tasks by enlarging the dataset. In this paper, we propose Mix at three levels for Speech Translation (M^3ST) method to increase the diversity of the augmented training corpus. Specifically, we conduct two phases of fine-tuning based on a pre-trained model using external machine translation (MT) data. In the first stage of fine-tuning, we mix the training corpus at three levels, including word level, sentence level and frame level, and fine-tune the entire model with mixed data. At the second stage of fine-tuning, we take both original speech sequences and original text sequences in parallel into the model to fine-tune the network, and use Jensen-Shannon divergence to regularize their outputs. Experiments on MuST-C speech translation benchmark and analysis show that M^3ST outperforms current strong baselines and achieves state-of-the-art results on eight directions with an average BLEU of 29.9.

연구 동기 및 목표

• 제한된 병렬 음성-번역 데이터로 인해 성능이 제한되는 엔드 투 엔드 음성 번역에서의 데이터 부족 문제를 해결하기 위해.
• 다양한 훈련 예제를 통해 일반화 능력과 강인성을 향상시키기 위해 다중 수준의 데이터 증강을 도입하기 위해.
• 제한된 음성 번역 데이터와 함께 외부 기계 번역(MT) 데이터를 효과적으로 활용하기 위해.
• 다른 수준(단어, 문장, 프레임)에서 혼합하는 것이 모델 성능에 미치는 영향을 탐색하기 위해.
• 다양한 수준의 혼합을 조합할 경우 단일 수준의 증강보다 우수한 성능을 얻을 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 두 단계의 피니어 투닝을 수행한다: 첫 번째 단계에서 믹업 스타일 접근법을 사용하여 혼합 비율 λ=0.4로 단어, 문장, 프레임 수준에서 훈련 데이터를 혼합한다.
• 단어 수준에서는 번역문의 명사를 의미적으로 유사한 단어로 대체하고, 해당 음성 및 번역 세그먼트를 정렬하여 대체한다.
• 문장 수준에서는 서로 다른 화자로부터의 두 문장을 연결하여 각각의 음성 및 번역 쌍을 유지한다.
• 프레임 수준에서는 두 개의 음성 특징 시퀀스를 가중치 λ로 선형 조합하고, 해당 타겟 시퀀스를 사용하여 가중 평균 교차 엔트로피 손실을 계산한다.
• 두 번째 단계에서는 원본 음성 및 번역 시퀀스를 동시에 모델에 입력하고, 제닝-섀넌 분산을 사용하여 두 브랜치의 출력 분포를 정규화한다.
• 모델은 음성 특징용 사전 학습된 Hubert 인코더, 트랜스포머 기반의 번역 인코더 및 디코더를 사용하며, 조기 정지 기법을 적용한 Adam을 사용하여 피니어 투닝한다.

실험 결과

연구 질문

• RQ1 단어, 문장, 프레임 수준에서의 다중 수준 데이터 혼합이 단일 수준 증강 대비 엔드 투 엔드 음성 번역 성능을 향상시키는가?
• RQ2 각 혼합 수준(단어, 문장, 프레임)이 전체 성능 향상에 기여하는 비율은 어떻게 되는가?
• RQ3 특히 초기 네트워크 레이어에서 프레임 수준의 혼합이 모델의 강인성과 일반화 능력을 향상시키는가?
• RQ4 외부 MT 데이터의 사용이 다중 수준 혼합과 상호작용하여 성능 향상에 기여하는가?
• RQ5 JS 분산 정규화를 포함한 두 단계의 피니어 투닝 전략이 더 나은 정렬과 출력 일관성을 이끌어내는가?

주요 결과

• M³ST는 MuST-C 벤치마크에서 여덟 방향 전반에 걸쳐 새로운 최고 성능 평균 BLEU 점수 29.9를 기록하며, 강력한 베이스라인을 초월한다.
• 외부 MT 데이터 없이도 M³ST는 이전 최고 성능 모델 대비 0.6 BLEU 향상되어, 다중 수준 혼합 자체의 효과성을 입증한다.
• 외부 MT 데이터를 활용할 경우, M³ST는 이전 최고 성능 모델보다 평균 0.5 BLEU 높은 성능을 기록하여, 데이터 증강과 외부 데이터 간의 강력한 상호보완 효과를 보여준다.
• 제거 실험 결과, 프레임 수준 혼합이 가장 큰 기여를 하며, 제거 시 0.5 BLEU 감소함을 확인하여, 강인성 향상에 핵심적인 역할을 함을 시사한다.
• 입력 임bedding 레이어(레이어 0)에서 혼합을 수행할 경우 가장 우수한 성능을 기록하여, 초기 단계에서 음성 특징을 융합함으로써 표현 학습이 향상됨을 시사한다.
• 이 방법은 저자원 언어 쌍을 포함한 다양한 언어 쌍에서 강인하며, 평가된 모든 설정에서 일관된 성능 향상을 유지한다.