[논문 리뷰] A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation

Yongjing Yin, Fandong Meng외 5명|arXiv (Cornell University)|2020. 07. 17.

Natural Language Processing Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 신경 기계 번역을 위한 새로운 그래프 기반 다중모달 융합 인코더를 제안하며, 통합된 다중모달 그래프를 통해 단어와 시각적 객체 간의 세밀한 의미 대응 관계를 모델링한다. 모odal별 파rameter를 사용하여 반복적으로 내모달 및 간모달 상호작용을 수행하는 그래프 기반 융합 레이어를 쌓음으로써, Multi30K 데이터셋에서 최신 기술 수준의 성능을 달성하며, 번역을 위한 우수한 다중모달 표현 학습 능력을 입증한다.

ABSTRACT

Multi-modal neural machine translation (NMT) aims to translate source sentences into a target language paired with images. However, dominant multi-modal NMT models do not fully exploit fine-grained semantic correspondences between semantic units of different modalities, which have potential to refine multi-modal representation learning. To deal with this issue, in this paper, we propose a novel graph-based multi-modal fusion encoder for NMT. Specifically, we first represent the input sentence and image using a unified multi-modal graph, which captures various semantic relationships between multi-modal semantic units (words and visual objects). We then stack multiple graph-based multi-modal fusion layers that iteratively perform semantic interactions to learn node representations. Finally, these representations provide an attention-based context vector for the decoder. We evaluate our proposed encoder on the Multi30K datasets. Experimental results and in-depth analysis show the superiority of our multi-modal NMT model.

연구 동기 및 목표

• 기존의 다중모달 NMT 모델이 텍스트 단위와 시각적 단위 간의 세밀한 의미 대응 관계를 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 내모달 및 간모달 관계를 포괄하는 통합된 다중모달 그래프를 구성하여 모달 간 의미 격차를 해소하기 위해.
• 반복적이고 모달 인식형 의미 상호작용을 가능하게 하는 그래프 신경망 기반 인코더를 개발하여 다중모달 표현 학습을 향상시키기 위해.
• 명시적인 간모달 대응 관계(예: 단어-객체 기반)가 신경 기계 번역 성능을 향상시키는 데 기여하는지 입증하기 위해.
• 다양한 언어 쌍과 다중모달 NLP 작업에 적용 가능한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 노드로 단어 또는 시각적 객체를 사용하는 통합된 다중모달 그래프로 입력 문장과 이미지를 표현하며, 엣지는 의미 관계를 인코딩한다.
• 두 가지 유형의 엣지를 도입한다: 같은 모달 내의 관계를 위한 내모달 엣지(예: 단어-단어, 객체-객체)와 모달 간 대응 관계를 위한 간모달 엣지(예: 'playing' → 'toy car').
• 모달별 파rameter를 사용하여 순차적으로 내모달 자기주의 및 간모달 게이팅을 수행하는 그래프 기반 다중모달 융합 레이어를 반복적으로 쌓는다.
• 최종 노드 표현을 어텐션 메커니즘을 통해 디코더의 컨텍스트 벡터로 사용한다.
• 시각적 기반을 활용하여 단어와 이미지 영역 간의 의미 정렬을 명시적으로 모델링함으로써 간모달 이해를 향상시킨다.
• Multi30K 데이터셋에서 최대우도추정을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합된 다중모달 그래프가 신경 기계 번역을 위해 내모달 및 간모달 의미 관계를 효과적으로 포착할 수 있는가?
• RQ2 그래프 신경망을 통한 반복적이고 모달 인식형 의미 상호작용이 기존 융합 방법에 비해 다중모달 표현 학습을 향상시키는가?
• RQ3 명시적인 간모달 대응 관계(예: 단어-객체 기반)가 다중모달 NMT에서 번역 성능 향상에 어느 정도 영향을 미치는가?
• RQ4 제안된 그래프 기반 융합 인코더는 다양한 언어 쌍에 대해 얼마나 일반화 가능한가?
• RQ5 기존 최신 기술 수준의 다중모달 NMT 접근 방식을 표준 벤치마크에서 능가할 수 있는가?

주요 결과

• 제안된 모델은 Multi30K 데이터셋의 영어-독어 번역 작업에서 최신 기술 수준의 성능을 달성하며, 여러 경쟁적 베이스라인을 능가한다.
• 영어-프랑스어 번역 작업에서도 모델은 뛰어난 성능을 유지하여, 언어 쌍 간의 효과성과 일반화 능력을 확인한다.
• 제거 실험 결과 간모달 엣지나 모달별 파rameter를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 명시적인 간모달 모델링의 중요성을 입증한다.
• 품질 분석을 통해 시각적 맥락을 활용함으로써 모호한 단어를 더 잘 다루는 것으로 나타났다.
• 통합된 다중모달 그래프의 사용은 별도의 모달별 그래프나 전역적 이미지 특징보다 의미 대응 관계를 더 잘 표현함을 보였다.
• 코드는 재현성과 향후 연구를 위해 https://github.com/DeepLearnXMU/GMNMT 에 공개되었다.