[논문 리뷰] Unsupervised Multi-modal Neural Machine Translation

Yuanhang Su, Kai Fan외 3명|arXiv (Cornell University)|2018. 11. 28.

Natural Language Processing Techniques참고 문헌 30인용 수 14

한 줄 요약

이 논문은 시각적 특징에 조건화된 사이클 일致성 조건을 부여함으로써 이미지-텍스트 정렬을 활용하여 비지도 신경 기계 번역을 향상시키는 비지도 다중모달 신경 기계 번역(UMNMT) 프레임워크를 제안한다. 자동에코 및 사이클 일치 손실을 통해 단모달 및 다중모달 데이터를 동시에 훈련함으로써, 모델은 Multi30K 데이터셋에서 BLEU 점수를 최대 4.33점 향상시키며 뚜렷한 성능 향상을 보였다. 이는 추론 시 이미지가 제공되지 않더라도 성능이 유지됨을 보여주며, 시각적 맥락을 통한 의미 해석의 정확성 향상과 뛰어난 내성성을 입증한다.

ABSTRACT

Unsupervised neural machine translation (UNMT) has recently achieved remarkable results with only large monolingual corpora in each language. However, the uncertainty of associating target with source sentences makes UNMT theoretically an ill-posed problem. This work investigates the possibility of utilizing images for disambiguation to improve the performance of UNMT. Our assumption is intuitively based on the invariant property of image, i.e., the description of the same visual content by different languages should be approximately similar. We propose an unsupervised multi-modal machine translation (UMNMT) framework based on the language translation cycle consistency loss conditional on the image, targeting to learn the bidirectional multi-modal translation simultaneously. Through an alternate training between multi-modal and uni-modal, our inference model can translate with or without the image. On the widely used Multi30K dataset, the experimental results of our approach are significantly better than those of the text-only UNMT on the 2016 test dataset.

연구 동기 및 목표

• 비지도 신경 기계 번역(UNMT)의 불완전한 성질을 해결하기 위해, 원천 언어와 목표 언어 간 문장 정렬의 모호성 문제를 해결하고자 한다.
• 시각 신호가 다국어 간 공통의 의미적 기준으로 작용하여 UNMT의 불확실성을 줄일 수 있는지 탐구하고자 한다.
• 훈련 및 추론 시 텍스트 전용 및 이미지 보강 번역을 모두 지원하는 통합 프레임워크를 개발하고자 한다.
• 훈련 중에 이미지를 보조적 지도 신호로 활용함으로써 일반화 능력과 수렴 성능을 향상시키고자 하며, 이는 테스트 시 이미지가 제공되지 않더라도 성립한다.

제안 방법

• 양방향 번역을 위한 두 개의 시퀀스-투-시퀀스 트랜스포머 기반 인코더 및 디코더와 공통의 이미지 특징 추출기를 사용한다.
• 이미지 특징에 조건화된 사이클 일치 손실을 도입하여 원천 문장, 번역 문장, 역번역 문장 간의 일致성을 강제한다.
• 입력 문장을 인코딩된 표현으로부터 재구성하기 위해 자동에코 손실을 적용함으로써 특징 학습 능력을 향상시킨다.
• 단모달(텍스트 전용) 및 다중모달(텍스트 + 이미지) 데이터를 번갈아가며 훈련함으로써 다양한 데이터 형식을 탄력적으로 처리할 수 있도록 한다.
• 트랜스포머 아키텍처 내에서 텍스트와 시각적 특징 간의 다중모달 관계를 모델링하기 위해 새로운 공동 주의 메커니즘을 설계한다.
• 정렬 및 상호정보 최적화를 위해 순차적 교차 엔트로피(SCE) 및 KL 발산 기반 손실을 사용한다.

실험 결과

연구 질문

• RQ1 이미지가 문장 정렬의 불확실성을 줄임으로써 비지도 신경 기계 번역의 성능 향상에 도움이 되는 해석 신호로 기능할 수 있는가?
• RQ2 훈련 시 시각적 특징을 통합함으로써, 추론 시 이미지가 제공되지 않더라도 일반화 능력이 향상되는가?
• RQ3 기본 기준 벤치마크에서 텍스트 전용 비지도 NMT에 비해 다중모달 지도 신호가 번역 품질 향상에 얼마나 기여하는가?
• RQ4 이미지에 조건화된 제안된 사이클 일치 손실이 의미 있는 다국어 표현 학습을 어떻게 향상시키는가?
• RQ5 특수화된 아키텍처 없이도 통합 모델이 훈련 및 추론 시 단모달 및 다중모달 입력을 효과적으로 처리할 수 있는가?

주요 결과

• 텍스트와 이미지 입력을 모두 사용할 경우, UMNMT 모델은 En→Fr 번역에서 BLEU 점수 16.10을 기록하며, 텍스트 전용 기준점(13.26)보다 2.84점 향상되었다.
• En→Fr 방향에서 이미지를 사용해 훈련한 모델은 추론 시 이미지를 사용하지 않더라도 텍스트 전용 모델보다 BLEU 점수 4.33점 높게 기록하여 최적화 및 일반화 능력 향상을 입증했다.
• 전체 Multi30K 데이터셋으로 훈련한 모델은 추론 시 이미지를 사용할 경우 텍스트 전용 모델 대비 En→Fr 방향에서 BLEU 점수 5.52점 향상되었으며, 이는 일관된 성능 향상을 보였다.
• 시각적 주의 히트맵 분석 결과, 모델은 '오렌지', '모자', '티셔츠' 등의 관련 이미지 영역에 주의를 집중하는 것으로 나타났으며, 이는 언어 토큰과 일치하여 정렬 성능 향상을 입증했다.
• 텍스트 주의 행렬은 깊이가 깊어질수록 점점 대각선 형태로 수렴하며, 이는 다국어 간 공통된 문법적 구조에 기반한 주의 집중 향상이 이루어졌음을 시사한다.
• 비교적 새로운 데이터에 대해서도 모델은 뛰어난 성능 유지를 보였으며, 이미지를 사용할 경우 De→En 방향에서 BLEU 점수 3.12점 향상되었으며, 이는 다양한 언어 쌍 간 일관된 성능 향상을 보였다.