[논문 리뷰] Multimodal Machine Translation with Embedding Prediction

Tosho Hirasawa, Hayahide Yamagishi외 2명|arXiv (Cornell University)|2019. 04. 01.

Natural Language Processing Techniques참고 문헌 16인용 수 6

한 줄 요약

이 논문은 희귀어 번역 성능을 향상시키기 위해 사전학습된 단어 임베딩을 통합하는 다중모달 신경 기계 번역 모델을 제안한다. 사전학습된 어휘에서 근접한 이웃을 검색하는 임베딩 예측을 통해 모델은 희귀어에서 +7.67 F-score, 기준 모델 대비 +2.49 BLEU를 기록하며 자원이 부족한 환경과 희귀어 상황에서 뛰어난 성능을 보여준다.

ABSTRACT

Multimodal machine translation is an attractive application of neural machine translation (NMT). It helps computers to deeply understand visual objects and their relations with natural languages. However, multimodal NMT systems suffer from a shortage of available training data, resulting in poor performance for translating rare words. In NMT, pretrained word embeddings have been shown to improve NMT of low-resource domains, and a search-based approach is proposed to address the rare word problem. In this study, we effectively combine these two approaches in the context of multimodal NMT and explore how we can take full advantage of pretrained word embeddings to better translate rare words. We report overall performance improvements of 1.24 METEOR and 2.49 BLEU and achieve an improvement of 7.67 F-score for rare word translation.

연구 동기 및 목표

• 희귀어 번역 성능이 낮은 이유는 훈련 데이터가 제한되어 있기 때문이다.
• 사전학습된 단어 임베딩가 다중모달 번역에서 효과적으로 활용될 수 있는지 조사한다.
• 기본 NMT를 초월해 임베딩 예측이 희귀어 번역에 기여하는지 탐색한다.
• 사전학습된 임베딩로 네트워크의 다양한 구성 요소(인코더 대비 디코더)를 초기화할 경우의 영향을 평가한다.
• 시각적 특징과 이미지 전처리 방법을 임베딩 예측 맥락에서 최적화하는 방법을 규명한다.

제안 방법

• 기본 어휘에 대한 소프트맥스 대신 목표 단어 임베딩을 예측하는 임베딩 예측 헤드를 IMAGINATION 모델에 확장한다.
• 금액 기반 순위 손실을 사용하여 모델이 정답 단어의 임베딩에 가까이 예측하고, 부정 샘플에서 멀리 떨어지도록 훈련한다.
• 최종 출력 단어를 도출하기 위해 사전학습된 임베딩 공간에서 최근접 이웃 검색을 적용한다.
• 디코더 임베딩 레이어를 FastText 임베딩로 초기화하면서 훈련 중 동결하여 의미적 구조를 유지한다.
• 이미지 및 문장 표현이 함께 최적화되는 시각 잠재공간 모델링을 통한 다중작업 학습을 적용한다.
• 멀티태스크 설정에서 효과적인 시각적 특징 활용을 위해 이미지 디 biases 전처리를 적용한다.

실험 결과

연구 질문

• RQ1 사전학습된 단어 임베딩를 사용한 임베딩 예측이 다중모달 NMT 성능, 특히 희귀어 번역에서 향상되는가?
• RQ2 사전학습된 임베딩로 디코더를 초기화하는 것이 인코더를 초기화하는 것보다 더 좋은 성능을 내는가?
• RQ3 특히 디 biases 처리를 포함한 이미지 전처리가 다중모달 NMT에서 임베딩 예측 성능에 어떤 영향을 미치는가?
• RQ4 다중모달 번역 설정에서 단일 언어 코퍼스를 사용해 임베딩을 사전학습하는 것이 어떤 영향을 미치는가?
• RQ5 희귀어 번역 정확도 향상과 함께 모델은 유창성을 유지하는가?

주요 결과

• 제안된 모델은 희귀어 번역에서 기준 모델 대비 7.67 F-score 향상을 기록하며, 뚜렷한 성능 우월성을 보였다.
• 모델은 전체 번역 성능을 BLEU +2.49, METEOR +1.24 향상시켜 일반 성능 향상이 뚜렷했다.
• 디코더를 사전학습된 FastText 임베딩로 초기화하면 +1.80 BLEU를 기록했고, 인코더 초기화 시에는 단지 +0.11 BLEU에 그쳐, 디코더에 특화된 이점이 뚜렷했다.
• 임베딩 레이어를 미세조정하면 성능이 악화되어, 고정된 사전학습된 임베딩이 희귀어에 집중하는 데 도움이 된다는 것을 시사한다.
• 디 biases 처리된 이미지는 다중작업 학습 설정에서 효과적인 시각적 특징 사용을 위해 필수적이며, 원본 이미지는 성능을 떨어뜨린다.
• 모델은 'voûte'를 'archway'로 정확히 번역하는 반면, 기준 모델은 더 흔한 동의어인 'arch' 또는 'monument'를 선호한다.