[논문 리뷰] Multilingual Multi-modal Embeddings for Natural Language Processing

Iacer Calixto, Qun Liu외 1명|arXiv (Cornell University)|2017. 02. 03.

Topic Modeling참고 문헌 10인용 수 15

한 줄 요약

이 논문은 이미지와 그에 해당하는 다국어 설명을 함께 학습함으로써 다국어 다중모달 임베딩을 학습하는 새로운 판별적 모델을 제안한다. 노이즈 대비 추정 손실의 수정된 형태를 사용하여 이미지 표현과 다국어 문장 표현을 정렬한다. 이 모델은 이미지-문장 순서 매기기, 의미적 텍스트 유사도, 신경 기계 번역 재순서 정렬 작업에서 일관된 성능 향상을 보이며, n-best 번역 목록을 재순서 정렬할 때 최대 +4.5 BLEU 및 +2.6 METEOR 포인트의 향상을 기록한다.

ABSTRACT

We propose a novel discriminative model that learns embeddings from multilingual and multi-modal data, meaning that our model can take advantage of images and descriptions in multiple languages to improve embedding quality. To that end, we introduce a modification of a pairwise contrastive estimation optimisation function as our training objective. We evaluate our embeddings on an image-sentence ranking (ISR), a semantic textual similarity (STS), and a neural machine translation (NMT) task. We find that the additional multilingual signals lead to improvements on both the ISR and STS tasks, and the discriminative cost can also be used in re-ranking $n$-best lists produced by NMT models, yielding strong improvements.

연구 동기 및 목표

• 동일한 이미지의 다국어 설명을 활용하여 다중모달 및 다국어 표현 학습을 향상시키기 위해.
• 시각적 내용을 다양한 언어로 표현하는 것을 포괄하지 못하는 단일언어 모델의 한계를 해결하기 위해.
• 이미지-문장 유사도와 다국어 문장 유사도를 동시에 최적화하는 통합 학습 목표를 개발하기 위해.
• 이미지-문장 순서 매기기, 의미적 텍스트 유사도, 신경 기계 번역 재순서 정렬과 같은 하류 작업에서 모델을 평가하기 위해.
• 다국어 신호가 단일 언어로 평가되는 경우조차도 단일 언어 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 각 언어에 대해 별도의 게이트드 리커런트 유닛(GRU) 인코더를 사용하여 단어 수준 표현에서 문장 임베딩을 생성한다.
• 이미지 특징을 FC7 레이어에서 추출하기 위해 사전 학습된 VGG-19 CNN을 사용하며, 이를 공유 임베딩 공간으로 투영한다.
• 이미지-문장 및 다국어 문장 유사도를 모두 포함하는 수정된 쌍별 대비 손실 함수를 적용하여 정렬을 향상시킨다.
• 모든 임베딩(이미지 및 문장)을 단위 노름으로 정규화하고 코사인 유사도를 통해 유사도를 계산한다.
• 노이즈 대비 추정 기반 목표를 사용하여 다국어 간에 매칭된(양성) 이미지-문장 쌍과 매칭되지 않은(음성) 쌍을 구분한다.
• 모델의 유사도 점수를 추가 특징으로 사용하여 NMT에서 재순서 정렬 전략을 구현하여 번역 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 다국어 및 다중모달 데이터를 함께 학습함으로써 단일언어 모델에 비해 학습된 임베딩의 품질을 향상시킬 수 있는가?
• RQ2 학습 중에 다국어 문장 유사도를 통합할 경우 이미지-문장 검색 및 의미 유사도 작업 성능에 어떤 영향을 미치는가?
• RQ3 제안된 임베딩이 n-best 번역 목록을 재순서 정렬하는 데 사용될 경우 신경 기계 번역 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 동일한 이미지의 다국어 설명을 포함함으로써 시각적 의미의 일반화가 향상되는가?
• RQ5 내부 및 외부 언어 감독 간의 상호 보완적 조정(β로 제어)이 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 영어 이미지-문장 순서 매기기에서 중앙값 순위는 8에서 5로 향상되었고, 독일어에서는 11에서 6으로 향상되어 검색 성능 향상이 뚜렷하다.
• SemEval 2014 및 2015 도메인 STS 작업에서 각각 피어슨 상관계수 0.821과 0.864를 기록하여 단일언어 기준선을 능가했다.
• 신경 기계 번역에서 n-best 목록을 재순서 정렬할 때, 기준 NMT 모델 대비 +4.5 BLEU 포인트 향상이 이루어졌다.
• β=0.25를 사용할 경우, MLMME 모델을 활용한 재순서 정렬에서 METEOR 포인트는 +2.6 향상되고 TER 포인트는 -6.1 감소하였다.
• NMT 재순서 정렬에서 최고의 성능은 β=0.25에서 달성되었으며, 이는 다국어 정렬에 더 강한 초점을 두는 것이 번역 품질 향상에 기여함을 시사한다.
• 평가 시 영어 인코더만 사용하더라도 훈련 시 독일어 설명을 포함함으로써 영어 성능이 향상되며, 특히 β 값이 낮을수록 더 두드러진다.