[논문 리뷰] UMONS Submission for WMT18 Multimodal Translation Task

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|2018. 10. 15.

Multimodal Machine Learning Applications참고 문헌 12인용 수 11

한 줄 요약

이 논문은 신경 이미지 캡션 기반의 새로운 다중모달 신경 기계 번역 아키텍처인 DeepGRU를 제안한다. 이는 게이팅 히퍼볼릭 탄젠트(ght) 버팀목과 다중모달 투영을 통해 시각적 특징을 통합한다. WMT18에서 영어-독어 및 영어-프랑스어 번역 과제에서 각각 +2.10 및 +1.98 METEOR 포인트의 성능 향상을 기록하며 최신 기준(METEOR) 점수를 달성한다.

ABSTRACT

This paper describes the UMONS solution for the Multimodal Machine Translation Task presented at the third conference on machine translation (WMT18). We explore a novel architecture, called deepGRU, based on recent findings in the related task of Neural Image Captioning (NIC). The models presented in the following sections lead to the best METEOR translation score for both constrained (English, image) -> German and (English, image) -> French sub-tasks.

연구 동기 및 목표

• 기존의 주로 어텐션 기반 모델보다 더 효과적으로 시각적 특징을 통합함으로써 다중모달 신경 기계 번역을 향상시키는 것.
• 신경 이미지 캡션에서 유래한 아키텍처 혁신(예: 게이팅 히퍼볼릭 탄젠트 버팀목, 다중모달 투영)이 다중모달 환경에서의 번역 성능 향상에 기여하는지 탐색하는 것.
• 제한된 훈련 데이터에서 과적합을 방지하는 경량이며 효율적이고 빠르게 훈련 가능한 모델을 개발하는 것.
• 특히 METEOR 점수에서 뛰어난 성능을 내기 위해 WMT18 다중모달 번역 공동 과제에서 최고의 성능을 달성하는 것.

제안 방법

• 다중모달 융합을 위한 조건부 GRU 디코더와 제3의 GRU를 버팀목 기능으로 사용하는 새로운 아키텍처인 DeepGRU를 제안한다.
• 학습된 선형 변환을 통해 시각적 표현과 텍스트 표현을 융합하는 다중모달 투영 레이어를 도입한다.
• 정보 흐름 제어 및 표현 능력 향상을 위해 버팀목 및 투영 레이어에서 게이팅 하이퍼볼릭 탄젠트(ght) 활성화 함수를 사용한다.
• Encoder 어노테이션과 ResNet-50에서 추출한 이미지 특징에 대해 소프트 어텐션 메커니즘을 적용하며, 컨텍스트 벡터는 가중 평균으로 계산된다.
• 과적합 방지 및 훈련 안정화를 위해 드롭아웃(임bedding에 0.3, 어노테이션 및 버팀목에 0.5)과 기울기 클리핑을 적용한다.
• 출력 투영 행렬과 타겟 단어 임베딩 행렬을 연결하여 파rameter 수를 줄이고 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경 이미지 캡션에서 유래한 구성 요소(예: 게이팅 히퍼볼릭 탄젠트 버팀목, 다중모달 투영)가 다중모달 번역 성능 향상에 기여하는가?
• RQ2 전용 버팀목 레이어를 갖춘 더 깊은 GRU 기반 아키텍처가 다중모달 번역에서 표준 어텐션 기반 모델보다 우수한 성능을 내는가?
• RQ3 제한된 데이터 환경에서 최대 풀링된 시각적 특징이 전체 컨볼루션 특징보다 얼마나 효과적인가?
• RQ4 더 적은 파라미터를 가진 경량 모델이 다중모달 번역 벤치마크에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 저자원 환경에서 순서 모델링과 결합된 시각적 특징이 번역 품질 향상에 얼마나 기여하는가?

주요 결과

• DeepGRU 모델은 WMT18에서 영어-독어 및 영어-프랑스어 번역 하위 과제에서 가장 높은 METEOR 점수를 기록하였다.
• 영어-프랑스어 번역 과제에서, 모델은 Flickr Test2016 세트에서 베이스라인 대비 +2.10 METEOR 포인트 향상(76.83 vs. 74.73)을 달성하였다.
• 영어-독어 번역 과제에서, 동일한 테스트 세트에서 +1.21 METEOR 포인트 향상(59.58 vs. 58.37)을 기록하였다.
• 모호한 MSCOCO 테스트 세트에서, 독어 번역에 대해 +1.00 METEOR 포인트 향상(49.45 vs. 48.45), 프랑스어 번역에 대해 +1.40 METEOR 포인트 향상(65.79 vs. 64.39)을 기록하였다.
• 새로 공개된 Flickr Test2018 세트를 포함한 모든 테스트 세트에서 모델은 베이스라인을 초월했으며, 프랑스어 번역에 대해 METEOR 점수 60.17, 독어 번역에 대해 51.64를 기록하였다.
• 결과는 이미지 캡션에서 유래한 아키텍처 혁신(예: 게이팅 히퍼볼릭 탄젠트 버팀목)이 다중모달 번역 성능 향상에 상당한 기여를 한다는 것을 시사한다.