[논문 리뷰] SONAR: Sentence-Level Multimodal and Language-Agnostic Representations

Paul-Ambroise Duquenne, Holger Schwenk외 1명|arXiv (Cornell University)|2023. 08. 22.

Natural Language Processing Techniques인용 수 5

한 줄 요약

Sonar는 번역, 자동에코, 노이즈 제거 목표를 함께 최적화하는 인코더-디코더 프레임워크를 통해 훈련된 다국어·다모달 문장 임베딩 공간을 제공하며, 다국어 유사도 검색 및 제로샷 음성-텍스트 번역에서 최신 기술 수준의 성능을 달성한다. 이는 200개 언어에 대해 단일 텍스트 인코더와 언어별 음성 인코더를 사용하여 다국어 및 다모달 검색을 가능하게 하며, GitHub에 오픈소스 모델이 제공된다.

ABSTRACT

We introduce SONAR, a new multilingual and multimodal fixed-size sentence embedding space. Our single text encoder, covering 200 languages, substantially outperforms existing sentence embeddings such as LASER3 and LabSE on the xsim and xsim++ multilingual similarity search tasks. Speech segments can be embedded in the same SONAR embedding space using language-specific speech encoders trained in a teacher-student setting on speech transcription data. Our encoders outperform existing speech encoders on similarity search tasks. We also provide a text decoder for 200 languages, which allows us to perform text-to-text and speech-to-text machine translation, including for zero-shot language and modality combinations. Our text-to-text results are competitive compared to the state-of-the-art NLLB~1B model, despite the fixed-size bottleneck representation. Our zero-shot speech-to-text translation results compare favorably with strong supervised baselines such as Whisper.

연구 동기 및 목표

• 200개 언어에서 텍스트 및 음성 모odal을 모두 지원하는 통합된 언어에 관계없는 문장 임베딩 공간을 개발하는 것.
• 단일 프레임워크 내에서 번역, 자동에코, 노이즈 제거 목표를 결합하여 다국어 문장 표현 학습을 향상시키는 것.
• 다국어 텍스트 인코더를 교사로 사용하는 테이처-스터디 훈련 설정을 통해 제로샷 음성-텍스트 번역을 가능하게 하는 것.
• 다국어 및 다모달 환경에서 의미 유사도 및 복호화 성능에 다양한 훈련 목표의 영향을 평가하는 것.
• 광범위한 연구 및 응용을 위해 오픈소스 텍스트 및 음성 인코더, 그리고 다국어 텍스트 디코더를 제공하는 것.

제안 방법

• Son어 프레임워크는 NLLB 1B 모델에서 초기화된 다국어 인코더-디코더 아키텍처를 사용하여 고정 크기의 문장 임베딩을 학습한다.
• 번역, 자동에코, 노이즈 제거 목표를 함께 최적화하며, 언어 간 유사도 손실을 통해 언어에 관계없는 표현을 향상시킨다.
• 37개 언어의 음성 인코더는 다국어 텍스트 인코더를 교사로 사용하고 ASR 전사 결과를 감독으로 하여 테이처-스터디 디스틸레이션 과정을 통해 훈련된다.
• 모듈 간 공유된 임베딩 공간을 활용하여 다모달 유사도 검색 및 제로샷 번역을 가능하게 한다.
• 텍스트 디코더는 고정 크기의 버퍼를 사용함에도 불구하고, 언어 쌍 간 제로샷 텍스트-텍스트 및 음성-텍스트 번역을 지원하기 위해 엔드 투 엔드로 훈련된다.
• 모든 모델, 즉 텍스트 및 음성 인코더와 텍스트 디코더가 연구 및 사용을 위해 GitHub에 공개된다.

실험 결과

연구 질문

• RQ1 번역, 자동에코, 노이즈 제거, 언어 간 유사도와 같은 다양한 훈련 목표가 고정 크기의 버퍼에서 다국어 문장 임베딩의 품질에 어떤 영향을 미치는가?
• RQ2 통합 목표로 훈련된 단일 다국어 텍스트 인코더가 Laser3 및 LabSE와 같은 기존 최신 기술 수준의 문장 임베딩 모델보다 다국어 유사도 검색 작업에서 더 나은 성능을 내는가?
• RQ3 다국어 텍스트 인코더에서 유도된 테이처-스터디 디스틸레이션을 통해 훈련된 음성 인코더가 다국어 및 다모달 유사도 검색에서 얼마나 높은 성능을 내는가?
• RQ4 Whisper와 같은 지도 학습 기반 기준 모델에 비해 Sonar 프레임워크의 제로샷 음성-텍스트 번역 성능은 얼마나 효과적인가?
• RQ5 다양한 언어와 모달 간에 학습된 문장 표현의 일반화 및 강건성에 다중 목표의 조합이 미치는 영향은 무엇인가?

주요 결과

• Sonar 텍스트 인코더는 xsim 및 xsim++ 다국어 유사도 검색 벤치마크에서 Laser3 및 LabSE와 같은 기존 모델을 뛰어넘는 성능을 보이며, 뛰어난 언어에 관계없는 문장 표현을 입증한다.
• 고정 크기의 버퍼를 사용함에도 불구하고, Sonar는 최신 기술 수준의 NLLB 1B 모델과 경쟁하는 제로샷 텍스트-텍스트 번역 성능을 달성한다.
• 제로샷 음성-텍스트 번역에서 Sonar는 Fleurs 테스트 세트에서 Whisper v2 large보다 평균 BLEU 점수를 더 높게 기록했으며, 법인타리, 힌두어, 타밀어와 같은 인도어 언어에서 특히 뛰어난 성능을 보였다.
• 번역과 MSE 손실의 조합은 언어 간 정렬을 크게 향상시키지만, 과도한 노이즈 제거는 언어에 관계없는 표현 품질을 떨어뜨린다.
• 다국어 텍스트 인코더에서 유도된 테이처-스터디 디스틸레이션을 통해 훈련된 음성 인코더는 다모달 유사도 검색에서 강력한 성능을 보였으며, 동일한 공간 내에서 텍스트와 음성 임베딩 간의 호환성을 확인했다.
• Sonar 프레임워크는 다양한 언어 및 모달 조합에서 효과적인 제로샷 복호화를 가능하게 하며, 연구 및 구현을 위해 오픈소스 모델이 제공된다.