[논문 리뷰] Imagination improves Multimodal Translation

Desmond Elliott, Ákos Kádár|arXiv (Cornell University)|2017. 05. 11.

Natural Language Processing Techniques참고 문헌 46인용 수 76

한 줄 요약

논문은 Imagination이라는 멀티태스크 모델을 제시합니다. 이 모델은 인코더를 공유하여 번역과 시각적으로 근거되는 표현을 학습하고, 번역 시 이미지 입력을 사용하지 않아도 Multi30K에서 최첨단 성과를 달성합니다. 외부 데이터(설명된 이미지 및 병렬 텍스트)는 성능을 더욱 향상시킬 수 있습니다.

ABSTRACT

We decompose multimodal translation into two sub-tasks: learning to translate and learning visually grounded representations. In a multitask learning framework, translations are learned in an attention-based encoder-decoder, and grounded representations are learned through image representation prediction. Our approach improves translation performance compared to the state of the art on the Multi30K dataset. Furthermore, it is equally effective if we train the image prediction task on the external MS COCO dataset, and we find improvements if we train the translation model on the external News Commentary parallel text.

연구 동기 및 목표

• 시각적으로 근거 있는 표현을 활용하여 멀티모달 번역을 동기 부여하고 향상시킨다.
• 멀티모달 번역을 번역 학습과 시각적 근거화 과제로 분해한다.
• 공유 인코더가 외부 병렬 텍스트나 설명된 이미지로의 학습을 가능하게 함을 보여준다.
• 번역 시점에 이미지를 사용하지 않고도 Multi30K에서 최첨단 결과를 입증한다.
• 도메인 외 데이터에 대한 강건성을 보여주고 성능 향상에 도움을 주는 자원을 기술한다.

제안 방법

• 공유 인코더를 갖춘 멀티태스크 모델(Imagination)을 제안하고, 이 인코더가 Translation Decoder와 Imaginet Image-Prediction Decoder를 모두 공급한다.
• 어텐션 기반 신경 기계 번역 모델을 통해 번역을 학습한다.
• 공유 인코더 표현으로부터 전역 이미지 특성 벡터를 예측하기 위한 보조 이미지 예측 디코더를 학습한다.
• 공동 목적함수 J(θ,φ)=w J_T(θ,φ^t)+(1−w) J_G(θ,φ^g)를 사용하여 작업을 결합하고 서로 다른 데이터셋(D_image, D_text)에서의 학습을 허용한다.
• 도메인 내 데이터(Multi30K)와 도메인 외 데이터(MS COCO, News Commentary) 및 앙상블 디코딩을 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 번역 시점에 이미지를 사용하지 않고도 공유 인코더와 멀티태스크 학습이 멀티모달 번역을 향상시킬 수 있는가?
• RQ2 보조 이미지 예측이 번역 품질을 향상시키는 근거 있는 소스 표현을 촉진하는가?
• RQ3 외부 데이터로 이미지 grounding을 학습하고 외부 병렬 텍스트로 번역을 학습할 때 성능이 견고한가?
• RQ4 멀티태스크 설정에서 도메인 외 자원(COCO, News Commentary)을 사용할 때 번역 품질에 어떤 영향을 미치는가?
• RQ5 도메인 간 학습 모델의 앙상블이 Multi30K에서 최첨단 결과를 낳는가?

주요 결과

모델	Meteor	BLEU	비고
NMT	54.0 ± 0.6	35.5 ± 0.8	Text-only baseline (Multimodal comparison)
Imagination	55.8 ± 0.4	36.8 ± 0.8	In-domain multitask with image prediction
Imagination (COCO)	55.6 ± 0.5	36.4 ± 1.2	Out-of-domain image prediction dataset
Moses	56.9	36.9	Strong text-only baseline

• The Imagination 모델은 En→De Multi30K에서 55.8 Meteor 및 36.8 BLEU(도메인 내 단일 모델)를 달성하고 앙상블에서 57.6 Meteor를 달성한다.
• 도메인 외 COCO-described 이미지로 이미지 예측을 사용할 때도 Imagination은 여전히 경쟁력을 유지한다(55.6 Meteor, 36.4 BLEU).
• News Commentary 병렬 텍스트를 포함하면 개선이 발생하여 COCO 및 Multi30K 데이터와 함께 앙상블에서 59.3 Meteor에 도달한다.
• 도메인 내 데이터에 외부 자원을 더한 데이터로 학습한 모델은 앙상블에서 새로운 최첨단 성능인 59.3 Meteor를 달성한다.
• Separate D_text와 D_image 데이터로 학습해도 성능에 해를 주지 않는다; 번역 데이터가 외부일 때도 이미지 예측은 이득을 제공한다.
• 서브워드 어휘와 데이터 조합(Multi30K + NC)을 사용하면 중요한 이득이 있으며(예: 최상 앙상블에서 59.3 Meteor)
• Imaginet 디코더의 grounding 목표가 이미지 검색 정렬을 개선하여(중간 순위 ~11) 근거화된 표현을 시사한다.