[논문 리뷰] Doubly-Attentive Decoder for Multi-modal Neural Machine Translation

Iacer Calixto, Qun Liu외 1명|arXiv (Cornell University)|2017. 02. 04.

Natural Language Processing Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 다중 모odal 신경 기계 번역을 위한 이중 주의 디코더를 제안하며, 두 개의 별도 주의 메커니즘을 사용해 소스 언어의 단어와 공간적 시각적 특징을 독립적으로 주의한다. 모델은 디코딩 중에 시각적 및 텍스트 정보를 효과적으로 융합함으로써 Multi30k 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 텍스트 전용 및 이전의 다중 모달 NMT 모델들을 능가한다.

ABSTRACT

We introduce a Multi-modal Neural Machine Translation model in which a doubly-attentive decoder naturally incorporates spatial visual features obtained using pre-trained convolutional neural networks, bridging the gap between image description and translation. Our decoder learns to attend to source-language words and parts of an image independently by means of two separate attention mechanisms as it generates words in the target language. We find that our model can efficiently exploit not just back-translated in-domain multi-modal data but also large general-domain text-only MT corpora. We also report state-of-the-art results on the Multi30k data set.

연구 동기 및 목표

• 공간적 시각적 특징을 사용하는 이전의 다중 모달 NMT 모델들이 종종 텍스트 전용 또는 전반적인 시각적 특징을 사용하는 모델들보다 성능이 열 劣한 문제를 해결하기 위해.
• 목표 시퀀스 생성 중에 소스 단어에 대한 주의와 이미지 영역에 대한 주의를 별도로 적용하는, 통합적이고 엔드 투 엔드로 훈련 가능한 디코더를 설계하기 위해.
• 도메인 내 다중 모달 데이터와 대규모 텍스트 전용 NMT 코퍼스를 결합하면 다중 모달 번역에서 모델의 일반화 능력과 성능 향상에 기여하는지 조사하기 위해.
• 공간적 시각적 특징이 이중 주의를 통해 적절히 통합될 경우, 이미지 조건부 번역 작업에서 번역 품질이 크게 향상될 수 있음을 입증하기 위해.

제안 방법

• 모델은 입력 문장을 기반으로 문맥에 맞는 소스 문장 표현을 생성하기 위해 양방향 GRU 인코더를 사용한다.
• 이중 주의 디코더는 두 가지 별도의 주의 메커니즘을 사용한다: 하나는 소스 단어 어노테이션에 대한 주의이고, 다른 하나는 사전에 훈련된 CNN(예: VGG19)을 사용해 추출한 공간적 시각적 특징에 대한 주의이다.
• 디코더의 은닉 상태는 소스 단어에서 온 컨텍스트 벡터와 이미지 영역에서 온 컨텍스트 벡터에 조건이 되며, 각각 별도의 주의 네트워크를 통해 계산된다.
• 최종 출력 분포는 디코더의 은닉 상태와 두 컨텍스트 벡터를 학습된 변환 행렬을 통해 조합하는 소프트 주의 메커니즘을 사용해 계산된다.
• 모델 전체는 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 각 디코딩 단계에서 타겟 단어와 소스 모odal 간의 정렬에 따라 주의 가중치가 동적으로 업데이트된다.
• 모델은 중간 규모의 백트랜슬레이션된 도메인 내 다중 모달 데이터셋에서 사전 훈련된 후, 대규모 일반 도메인 텍스트 전용 NMT 코퍼스에서 미세 조정된다.

실험 결과

연구 질문

• RQ1 소스 단어와 이미지 영역을 별도로 주의하는 이중 주의 메커니즘이, 전반적인 시각적 특징 또는 텍스트 전용 입력을 사용하는 모델들보다 다중 모달 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 독립적인 주의 메커니즘을 통해 공간적 시각적 특징을 통합하면, 이미지 조건부 번역 벤치마크에서 번역 품질 향상이 측정 가능한가?
• RQ3 도메인 내 다중 모달 데이터에서 사전 훈련하고 대규모 텍스트 전용 NMT 코퍼스에서 미세 조정한 모델이 두 데이터 유형을 효과적으로 활용해 성능 향상을 이룰 수 있는가?
• RQ4 동일한 데이터로 훈련된 강력한 텍스트 전용 NMT 및 어절 기반 SMT 기준 모델과 비교해 본 모델의 성능은 어떠한가?

주요 결과

• 제안된 이중 주의 디코더는 Multi30k 테스트 세트에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전의 다중 모달 NMT 모델들을 능가한다.
• 강력한 텍스트 전용 NMT 기준 모델에 비해 상당한 향상이 나타나, 공간적 시각적 특징이 적절히 주의를 기울일 경우 의미 있는 정보를 기여한다는 점을 확인한다.
• 모델은 도메인 내 다중 모달 데이터와 대규모 일반 도메인 텍스트 전용 NMT 코퍼스를 효과적으로 활용하며, 다양한 도메인 간의 일반화 능력이 뛰어나다.
• 단어와 이미지 영역에 대해 별도의 주의 메커니즘을 사용함으로써 더 나은 정렬과 더 정확한 번역이 가능해지며, 특히 특정 시각적 객체를 포함한 설명에서 두드러진다.
• 전반적인 이미지 특징을 사용하거나 텍스트 전용 모델에 비해 뚜렷한 성능 향상을 이룰 수 없었던 이전의 다중 모달 NMT 접근 방식에 비해 모델이 개선된다.