[논문 리뷰] Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting

Po-Yao Huang, Junjie Hu외 2명|arXiv (Cornell University)|2020. 05. 06.

Multimodal Machine Learning Applications참고 문헌 46인용 수 5

한 줄 요약

이 논문은 잠재 공간 내의 다국어 간 정렬을 향상시키기 위해 시각적 콘텐츠를 의사 피벗으로 사용하는 새로운 비지도 다중모odal 신경 기계 번역 프레임워크를 제안한다. 실제 이미지를 기반으로 두 언어에 대해 의사 캡션 문장을 생성하고 공유되는 다국어 시각-의미 임베딩 공간을 학습함으로써, Multi30K에서 최고 성능을 기록하며 테스트 시 이미지가 없더라도 잘 일반화됨을 보였다.

ABSTRACT

Unsupervised machine translation (MT) has recently achieved impressive results with monolingual corpora only. However, it is still challenging to associate source-target sentences in the latent space. As people speak different languages biologically share similar visual systems, the potential of achieving better alignment through visual content is promising yet under-explored in unsupervised multimodal MT (MMT). In this paper, we investigate how to utilize visual content for disambiguation and promoting latent space alignment in unsupervised MMT. Our model employs multimodal back-translation and features pseudo visual pivoting in which we learn a shared multilingual visual-semantic embedding space and incorporate visually-pivoted captioning as additional weak supervision. The experimental results on the widely used Multi30K dataset show that the proposed model significantly improves over the state-of-the-art methods and generalizes well when the images are not available at the testing time.

연구 동기 및 목표

• 다국어 간 문장 정렬이 열악한 비지도 신경 기계 번역(NMT) 문제를 해결하기 위해 시각적 콘텐츠를 공통 기반으로 활용한다.
• 제3의 언어를 통한 피벗 방식의 한계를 극복하기 위해 생물학적으로 타당하고 언어에 종속되지 않는 정렬 신호로 시각적 인지 능력을 활용한다.
• 다른 언어에서의 분리된 이미지-문장 쌍을 사용하여 공유되는 다국어 시각-의미 임베딩 공간을 학습함으로써 비지도 MMT 성능을 향상시킨다.
• 실제 번역 데이터 없이도 백트랜슬레이션을 가능하게 하기 위해 두 언어에서 합성된 이미지 기반 캡션을 통해 약한 지도 학습 신호를 개발한다.
• Multi30K에서 최고 성능을 기록하며, 이미지가 없는 텍스트 전용 추론 환경에서도 강력한 일반화 성능을 유지를 한다.

제안 방법

• 공유되는 시각-의미 임베딩 공간 내에서 다국어 문장 표현을 정렬하기 위해 시각적 콘텐츠를 의사 피벗으로 활용한다.
• 다른 언어에서의 분리된 이미지-문장 쌍을 사용하여 대비 손실을 적용해 다국어 시각-의미 임베딩(VSE) 모델을 훈련한다.
• 실제 이미지를 기반으로 원천 언어 및 대상 언어에서 모두 의사 캡션을 합성하여 백트랜슬레이션을 위한 약한 지도 신호를 생성한다.
• 번역 및 캡션 모듈 모두에 트랜스포머 기반 아키텍처를 사용하여 다중모달 백트랜슬레이션을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 이중 단계 훈련 과정을 적용: 먼저 단일 언어 언어 모델과 VSE를 사전 훈련한 후, 재구성 목표를 포함해 번역 및 캡션을 함께 최적화한다.
• 객체 검출 특징을 통합하여 시각적 표현을 풍부하게 하고, 이미지 영역과 해당 문장 토큰 간의 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 시각적 콘텐츠는 비지도 다중모달 NMT에서 효과적인 언어에 종속되지 않는 피벗으로 기능할 수 있는가?
• RQ2 다른 언어 간에 분리된 이미지-문장 쌍을 어떻게 활용하여 공유되는 다국어 시각-의미 임베딩 공간을 학습할 수 있는가?
• RQ3 두 언어에서 합성된 이미지 기반 캡션은 병렬 데이터 없이도 비지도 NMT에 효과적인 약한 지도 신호를 제공할 수 있는가?
• RQ4 제안된 의사 시각 피벗 방법은 테스트 시 이미지가 제공되지 않는 텍스트 전용 추론 환경으로도 일반화되는가?
• RQ5 BLEU 및 METEOR 점수 측면에서 기존의 비지도 MMT 방법에 비해 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 제안된 모델은 영어-프랑스어 번역 작업에서 BLEU 점수 65.5와 METEOR 79.1을 기록하며, Multi30K에서 기존 최고 성능 방법을 크게 능가한다.
• 영어-독일어 번역에서는 BLEU 점수 42.3과 METEOR 60.6을 기록하여 다양한 언어 조합 간에도 뛰어난 성능을 보였다.
• 모델은 텍스트 전용 추론 환경에서도 잘 일반화되어, 테스트 시 이미지가 없더라도 높은 성능을 유지한다.
• 절단 실험을 통해 공유되는 다국어 VSE 공간과 의사 캡션 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• 객체 수준의 시각적 특징 사용은 전역 이미지 임베딩에 비해 정렬 품질을 향상시켰으며, 이를 통해 다국어 문장 매칭 성능이 향상됨을 입증했다.
• 특히 자원이 적거나 제로샷 설정에서 기존의 비지도 MMT 방법들인 Game-MMT와 UMMT를 뛰어넘는 성능을 기록했다.