[논문 리뷰] Globetrotter: Unsupervised Multilingual Translation from Visual Alignment

Dídac Surís Coll-Vinent, Dave Epstein외 1명|arXiv (Cornell University)|2021. 05. 04.

Multimodal Machine Learning Applications참고 문헌 49인용 수 8

한 줄 요약

Globetrotter는 단일 단계에서 교차 언어 표현을 공동으로 학습하는 통합 프레임워크를 제안하며, 이미지를 통해 여러 언어를 시각적 정렬을 통해 연결함으로써 52개 언어에서 비병렬 문장 수준 번역 성능을 달성하는 비지도 다국어 번역 프레임워크이다.

ABSTRACT

Machine translation in a multi-language scenario requires large-scale parallel corpora for every language pair. Unsupervised translation is challenging because there is no explicit connection between languages, and the existing methods have to rely on topological properties of the language representations. We introduce a framework that leverages visual similarity to align multiple languages, using images as the bridge between them. We estimate the cross-modal alignment between language and images, and use this estimate to guide the learning of cross-lingual representations. Our language representations are trained jointly in one model with a single stage. Experiments with fifty-two languages show that our method outperforms prior work on unsupervised word-level and sentence-level translation using retrieval.

연구 동기 및 목표

• 대규모 병렬 코퍼스가 없는 비지도 다국어 번역 문제에 대응한다.
• 비지도 설정에서 언어 간 명시적 연결의 부재를 해결한다.
• 시각적 유사성을 교차 언어 브리지로 활용하여 표현 정렬을 향상시킨다.
• 다국어를 위한 통합 모델을 단일 단계에서 학습하여 복잡한 다단계 학습을 방지한다.
• 이미지 기반 지도를 활용하여 다양한 언어 쌍 간의 제로샷 번역을 가능하게 한다.

제안 방법

• 다국어 문장 표현을 정렬하기 위해 이미지를 공유 의미 공간으로 사용한다.
• 대비 학습을 통해 언어 임베딩과 시각적 특징 간의 교차 모달 정렬을 추정한다.
• 언어 및 시각 정렬 목표를 동시에 최적화하는 단일 단계 공동 모델을 학습한다.
• 병렬 문장이 없더라도 시각적 브리지가 교차 언어 표현 학습을 안내하도록 한다.
• 어휘 수준 및 문장 수준 번역 품질을 측정하기 위해 검색 기반 평가를 적용한다.
• 텍스트 및 이미지 모odalities에 공통 인코더를 사용하여 의미 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 시각적 정렬이 비지도 다국어 표현 학습을 위한 효과적인 브리지로 기능할 수 있는가?
• RQ2 단일 단계에서 언어-이미지 공동 학습을 수행하는 모델이 52개 언어에서 제로샷 번역으로 일반화하는 데 얼마나 잘 작동하는가?
• RQ3 순수 다국어 또는 위상 기반 방법에 비해 시각적 지도가 교차 언어 정렬을 향상시키는가?
• RQ4 병렬 데이터 없이도 어휘 수준 및 문장 수준 검색 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 병렬 지도 없이도 대규모 언어 수에 대해 이 방법이 어떻게 스케일링되는가?

주요 결과

• Globetrotter는 52개 언어에서 어휘 수준 및 문장 수준 번역 검색 모두에서 기존 비지도 방법을 능가한다.
• 시각적 정렬을 활용하면 순수 언어 위상 기반 방법에 비해 교차 언어 표현 품질이 크게 향상된다.
• 병렬 단일 언어 데이터나 복잡한 커리큘럼 학습이 필요 없이도 단일 단계 공동 학습 프레임워크가 뛰어난 성능을 달성한다.
• 모델은 제로샷 언어 쌍으로 효과적으로 일반화되어 자원이 제한된 환경에서도 강건함을 입증한다.
• 병렬 문장 쌍이 없더라도 이미지 기반 지도가 의미 있는 교차 언어 정렬을 가능하게 한다.
• 검색 벤치마크에서 최고 성능을 기록하여, 다국어 표현 학습에서 시각적 브리지의 효과성을 확인한다.