[논문 리뷰] Learning Shared Semantic Space for Speech-to-Text Translation

Chi Han, Mingxuan Wang외 2명|arXiv (Cornell University)|2021. 05. 07.

Natural Language Processing Techniques참고 문헌 57인용 수 7

한 줄 요약

Chimera는 음성과 텍스트 표현 간의 격차를 해소하기 위해 모odal-무관성 임bedding 공간을 통해 음성과 텍스트를 연결하는 공유된 의미 기억 네트워크를 제안한다. 이는 대규모 텍스트 기계 번역(MT) 데이터를 활용해 엔드 투 엔드 음성-텍스트 번역을 가능하게 한다. 음성 및 텍스트 특징을 통합된 의미 공간에 투영하고 이중 모달 대비 손실을 사용함으로써, Chimera는 MuST-C EN-DE에서 새로운 SOTA 27.1 BLEU를 달성하며 SOTA를 +1.9 BLEU 향상시켰으며, 다양한 모odal 간의 지식 전이가 효과적으로 이루어지는 것으로 나타났다.

ABSTRACT

Having numerous potential applications and great impact, end-to-end speech translation (ST) has long been treated as an independent task, failing to fully draw strength from the rapid advances of its sibling - text machine translation (MT). With text and audio inputs represented differently, the modality gap has rendered MT data and its end-to-end models incompatible with their ST counterparts. In observation of this obstacle, we propose to bridge this representation gap with Chimera. By projecting audio and text features to a common semantic representation, Chimera unifies MT and ST tasks and boosts the performance on ST benchmarks, MuST-C and Augmented Librispeech, to a new state-of-the-art. Specifically, Chimera obtains 27.1 BLEU on MuST-C EN-DE, improving the SOTA by a +1.9 BLEU margin. Further experimental analyses demonstrate that the shared semantic space indeed conveys common knowledge between these two tasks and thus paves a new way for augmenting training resources across modalities. Code, data, and resources are available at https://github.com/Glaciohound/Chimera-ST.

연구 동기 및 목표

• 엔드 투 엔드 음성 번역(ST)에서 음성과 텍스트 간의 모달 갭을 해결하기 위해, 이는 성능을 제한하고 대규모 텍스트 기계 번역(MT) 데이터를 활용하는 것을 어렵게 한다.
• 모달에 관계없이 언어적 의미를 포착하는 공유된 의미 표현을 학습하여 ST와 MT 워크플로우를 통합한다.
• 통합된 훈련 프레임워크를 통해 고자원 MT 데이터에서 저자원 ST 작업으로 지식 전이를 가능하게 한다.
• 공유된 의미 공간이 모달 간 의미적이고 체계적인 패턴(예: 질문 형성, 동사 유형 등)을 의미적으로 잘 반영하고 있는지 검증한다.

제안 방법

• Chimera는 음성과 텍스트 특징을 동일한 모달에 무관한 임베딩 공간에 투영하는 공유된 의미 기억 모듈을 사용한다.
• 음성과 텍스트 입력으로부터의 의미 기억을 정렬하기 위해 이중 모달 대비 학습 목표를 도입하여, 의미적으로 동일한 내용은 유사한 표현을 가지도록 유도한다.
• 입력 시퀀스에서 핵심 의미 카테고리를 추출하기 위해 트랜스포머 기반 아키텍처를 사용하며, 다중 헤드를 포함한다.
• 공유된 의미 공간을 초기화하기 위해 대규모 MT 코퍼스(예: OpenSubtitles)에서의 사전 훈련을 수행한 후, 음성-텍스트 병렬 데이터에서 미세조정한다.
• 의미적으로 동일한 입력이 공유된 공간 내에서 가까이 위치하도록, 쌍으로 이루어진 음성 및 텍스트 샘플 간에 대비 손실을 적용한다.
• ST 및 MT 목표를 함께 훈련함으로써, 작업 간 지식 공유가 가능한 통합된 아키텍처를 지원한다.

실험 결과

연구 질문

• RQ1 공유된 의미 공간이 엔드 투 엔드 음성 번역에서 음성과 텍스트 간의 표현 갭을 효과적으로 해소할 수 있는가?
• RQ2 대규모 텍스트 기계 번역 데이터에서의 사전 훈련이 통합된 의미 표현과 함께 결합될 경우, ST 성능 향상에 상당한 기여를 하는가?
• RQ3 학습된 공유된 의미 공간이 질문 형성, 미래 시제, 보어 동사 등 의미적 및 문법적 패턴을 반영하는 방식으로 체계적으로 구조화되어 있는가?
• RQ4 이중 모달 대비 훈련 작업이 음성과 텍스트 표현 간의 정렬을 얼마나 향상시키는가?
• RQ5 통합된 모델이 음성 번역 벤치마크에서 여러 언어 방향에서 최고 성능을 달성할 수 있는가?

주요 결과

• Chimera는 MuST-C EN-DE 번역 방향에서 기존 SOTA를 +1.9 BLEU 향상시켜 새로운 SOTA 27.1 BLEU 점수를 기록했다.
• 사전 훈련 시 더 큰 MT 코퍼스를 사용할수록 성능 향상이 뚜렷하게 나타나, 고자원 MT 데이터가 ST 성능 향상에 기여하는 바가 크다는 것을 확인했다.
• PCA를 통한 시각화 결과, 음성 및 텍스트 표현이 동일한 의미 기억 영역에 가까이 투영됨을 확인하여, 모달 갭 해소가 성공적으로 이루어졌음을 검증했다.
• 공유된 의미 공간은 질문, 미래 시제, 보어 동사와 같은 의미적 및 문법적 패턴에 따라 체계적으로 군집화되어 있어, 의미 있는 표현 학습이 이루어졌음을 시사한다.
• 모달 간 어텐션 시각화 결과, 음성의 정지와 텍스트의 구두점(예: 마침표) 간의 정렬이 관찰되어, 위치 기반 어텐션이 아닌 의미 기반 어텐션이 작용하고 있음을 시사한다.
• 제거 실험을 통해 이중 모달 대비 손실과 공유된 의미 기억 모듈이 ST 성능 향상에 효과적임을 확인했다.