[논문 리뷰] Incorporating Global Visual Features into Attention-Based Neural Machine Translation

Iacer Calixto, Qun Liu외 1명|arXiv (Cornell University)|2017. 01. 23.

Natural Language Processing Techniques참고 문헌 32인용 수 28

한 줄 요약

이 논문은 사전에 학습된 CNN에서 추출한 전역적 시각적 특징을 인코더와 디코더에 통합하는 새로운 주의 기반 신경 기계 번역(NMT) 모델을 제안한다. 이는 이미지 특징을 소스 단어로 삽입하거나 인코더 상태를 초기화하거나 디코더 초기화를 통해 전략을 적용한다. 최고의 모델은 Multi30k 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 모든 평가 지표에서 어절 기반 SMT 및 강력한 NMT 기준 모델을 뛰어넘는 성능을 보이며, 합성 역번역 데이터를 추가로 활용하면 성능 향상이 더욱 뚜렷하다.

ABSTRACT

We introduce multi-modal, attention-based neural machine translation (NMT) models which incorporate visual features into different parts of both the encoder and the decoder. We utilise global image features extracted using a pre-trained convolutional neural network and incorporate them (i) as words in the source sentence, (ii) to initialise the encoder hidden state, and (iii) as additional data to initialise the decoder hidden state. In our experiments, we evaluate how these different strategies to incorporate global image features compare and which ones perform best. We also study the impact that adding synthetic multi-modal, multilingual data brings and find that the additional data have a positive impact on multi-modal models. We report new state-of-the-art results and our best models also significantly improve on a comparable phrase-based Statistical MT (PBSMT) model trained on the Multi30k data set according to all metrics evaluated. To the best of our knowledge, it is the first time a purely neural model significantly improves over a PBSMT model on all metrics evaluated on this data set.

연구 동기 및 목표

• 이미지에서 추출한 전역적 시각적 특징을 주의 기반 NMT 아키텍처의 다양한 구성 요소에 통합하여 신경 기계 번역 성능을 햖결하고자 한다.
• 특징 삽입 전략(예: 소스 단어로 특징 삽입, 은닉 상태 초기화 등)이 번역 품질에 미치는 영향을 조사하고자 한다.
• 합성 다중 모달, 다국어 훈련 데이터가 모델 성능에 미치는 영향을 평가하고자 한다.
• 순수 신경 기반 다중 모달 NMT 모델이 표준 벤치마크에서 어절 기반 SMT 시스템을 능가할 수 있는지 확인하고자 한다.
• 각 디코더 타임스텝에 이미지 특징을 직접 삽입할 경우 발생하는 과적합 문제를 해결하고자 한다.

제안 방법

• 사전에 학습된 컨volutional 신경망(VGG-19)을 사용해 전역적 이미지 특징을 추출하고, 단어 벡터 공간으로 투영한다.
• 시각적 특징을 입력 표현을 풍부하게 하기 위해 소스 문장에 추가적인 '단어'로 통합한다.
• 이미지 특징을 사용해 인코더의 은닉 상태를 초기화함으로써 인코딩 과정을 시각적 맥락에 기반하게 한다.
• 이미지 특징을 사용해 디코더의 은닉 상태를 초기화함으로써 생성 시작 시점에 시각적 맥락을 제공한다.
• 훈련 데이터 증강과 일반화 성능 향상을 위해 합성 역번역 데이터를 활용한 다중 작업 학습 설정을 도입한다.
• 주의 기반 인코더-디코더 프레임워크를 사용하며, 주의 메커니즘 자체는 수정하지 않고 여러 단계에서 시각적 특징을 통합한다.

실험 결과

연구 질문

• RQ1 주의 기반 NMT 모델의 다양한 구성 요소에 전역적 시각적 특징을 통합할 경우 번역 품질에 어떤 영향을 미치는가?
• RQ2 특징 통합 전략 중에서(소스 단어 삽입, 인코더 초기화, 디코더 초기화) 어떤 것이 가장 높은 성능을 낼 수 있는가?
• RQ3 합성 다중 모달, 다국어 훈련 데이터를 추가하면 다중 모달 NMT 모델의 성능 향상이 이루어지는가?
• RQ4 순수 신경 기반 다중 모달 NMT 모델이 Multi30k 데이터셋에서 강력한 어절 기반 SMT 기준 모델을 능가할 수 있는가?
• RQ5 각 디코더 타임스텝에 이미지 특징을 직접 삽입할 경우 과적합이 발생하는 이유는 무엇이며, 이를 어떻게 방지할 수 있는가?

주요 결과

• 이미지 특징을 사용해 디코더 은닉 상태를 초기화한 모델(IMG_D)이 가장 뛰어난 성능을 보이며, BLEU-4 점수 38.5, METEOR 55.9, TER 41.6, chrF3 68.4를 기록한다.
• 모든 다중 모달 모델이 어절 기반 SMT 기준 모델(34.0 BLEU-4)과 강력한 NMT 기준 모델(35.5 BLEU-4)을 뚜렷이 앞서며, BLEU-4 점수에서 1.2~3.0 포인트의 향상이 이루어진다.
• 소스 문장에 이미지 특징을 단어로 삽입한 모델(IMG_2W)은 초기화 기반 방법보다 성능이 열 劣하므로, 직접 입력 삽입 방식이 초기화보다 효과가 떨어진다는 점을 시사한다.
• 합성 역번역 데이터를 추가하면 일관된 성능 향상이 이루어지며, 최고의 모델(IMG_D)은 증강된 데이터로 미세조정한 결과 NMT 기준 모델 대비 3.0 BLEU-4 포인트 향상된 성능을 기록한다.
• 직접 각 디코더 타임스텝에 이미지 특징을 삽입할 경우 과적합이 발생하고 학습이 저해됨을 확인하였으며, 이는 이전 연구 결과와 일치한다.
• 본 연구는 처음으로 순수 신경 기반 다중 모달 NMT 모델이 Multi30k 데이터셋에서 표준 평가 지표(BLEU, METEOR, TER, chrF3) 전반에서 어절 기반 SMT 시스템을 뚜렷이 능가함을 입증한다.