[논문 리뷰] Doubly Attentive Transformer Machine Translation

Hasan Sait Arslan, Mark Fishel외 1명|arXiv (Cornell University)|2018. 07. 30.

Multimodal Machine Learning Applications참고 문헌 34인용 수 17

한 줄 요약

이 논문은 수정된 다중 헤드 어텐션 레이어에서 이중 어텐션 메커니즘을 통해 원천 언어의 단어와 공간적 시각적 특징을 동시에 고려함으로써 신경 기계 번역을 향상시키는 이중 주의형 트랜스포머 NMT(DATNMT) 모델을 제안한다. 이 모델은 영어-독일어 다중모달 번역에서 최신 기술 수준의 성능을 달성하여 이전 방법 대비 BLEU4 점수를 4.5 포인트 향상시켰으며, 대규모 텍스트 전용 또는 이미지 캡션 데이터 코퍼스에서 미리 훈련된 경우 특히 높은 성능 향상을 보였다.

ABSTRACT

In this paper a doubly attentive transformer machine translation model (DATNMT) is presented in which a doubly-attentive transformer decoder normally joins spatial visual features obtained via pretrained convolutional neural networks, conquering any gap between image captioning and translation. In this framework, the transformer decoder figures out how to take care of source-language words and parts of an image freely by methods for two separate attention components in an Enhanced Multi-Head Attention Layer of doubly attentive transformer, as it generates words in the target language. We find that the proposed model can effectively exploit not just the scarce multimodal machine translation data, but also large general-domain text-only machine translation corpora, or image-text image captioning corpora. The experimental results show that the proposed doubly-attentive transformer-decoder performs better than a single-decoder transformer model, and gives the state-of-the-art results in the English-German multimodal machine translation task.

연구 동기 및 목표

• 다중모달 NMT에서 단일 어텐션 메커니즘의 한계를 해결하기 위해 원천 텍스트와 시각적 특징에 대해 독립적이고 병렬적인 어텐션을 가능하게 하기 위해.
• 텍스트 전용 및 이미지-텍스트 사전 훈련 데이터를 활용하여 저자원 다중모달 환경에서의 번역 품질을 향상시키기 위해.
• 구조적 변경 없이도 통합된 트랜스포머 디코더가 시각적 및 언어적 신호를 효과적으로 통합할 수 있음을 보여주기 위해.
• 대규모 텍스트 전용 또는 이미지 캡션 데이터셋에서의 사전 훈련이 다중모달 번역 성능 향상에 기여하는지 조사하기 위해.

제안 방법

• 원천 언어 토큰과 이미지의 공간 영역에 대해 각각 어텐션을 수행할 수 있는 두 가지 별도의 어텐션 벡터를 갖는 개선된 다중 헤드 어텐션 레이어를 제안한다.
• 입력 이미지에서 공간적 시각적 표현을 추출하기 위해 사전 훈련된 컨volution 신경망(CNN)의 특징을 사용한다.
• 시각적 및 텍스트 표현을 하나의 트랜스포머 디코더에 통합하여 타겟 언어 문장을 자동으로 순차적으로 생성한다.
• 이중 단계 훈련 전략을 적용한다: 먼저 대규모 텍스트 전용(OPUS) 및 이미지 캡션(Flickr30k) 데이터셋에서 사전 훈련한 후, 목표 다중모달 번역 작업에서 미세조정한다.
• 두 모odal 모두 표준 스케일드-닷프로덕트 어텐션을 사용하며, 텍스트 및 시각적 특징에 대해 각각 별도의 쿼리, 키, 밸류 행렬을 사용한다.
• 소프트 어텐션 분포를 시각화하고 분석하기 위해 SoftAlignments 도구를 활용한다.

실험 결과

연구 질문

• RQ1 텍스트 및 이미지 특징에 대해 이중 어텐션 헤드를 갖는 트랜스포머 디코더가 다중모달 번역에서 표준 단일 어텐션 NMT 모델보다 우수한 성능을 낼 수 있는가?
• RQ2 대규모 텍스트 전용 또는 이미지 캡션 데이터셋에서의 사전 훈련이 저자원 다중모달 번역 성능 향상에 어느 정도 기여하는가?
• RQ3 이중 어텐션 메커니즘의 어텐션 가중치는 원천 문장의 의미적으로 관련된 부분과 해당 이미지 영역과 어떻게 정렬되는가?
• RQ4 시각적 특징의 통합이 특히 시각적 객체를 참조할 때 번역 품질 향상에 측정 가능한 기여를 하는가?

주요 결과

• DATNMT 모델은 OPUS 코퍼스에서 사전 훈련한 후 영어-독일어 Multi30k 테스트 세트에서 BLEU4 점수 42.2를 기록하여 기준 모델(TNMT)보다 4.2 BLEU 포인트 높게 성과를 냈다.
• 사전 훈련 없이 훈련한 경우 DATNMT는 BLEU4 41.0을 기록하여 표준 TNMT(38.6 BLEU4)보다 2.4 포인트 향상되었으며, 이는 이중 어텐션 메커니즘이 효과적임을 시사한다.
• Flickr30k에서의 사전 훈련은 TNMT의 성능을 2.7 포인트 향상시켰다(38.6에서 39.6으로), 그러나 DATNMT의 성능 향상은 더 작은 폭(41.0에서 41.1로)이었으며, 이는 DATNMT가 이미 도메인 내 데이터에서 유의미한 이점을 얻고 있음을 시사한다.
• DATNMT는 BLEU4와 같은 정밀도 중심 지표에서 뛰어난 성능을 보였고, NMT(SRC+IMG)는 METEOR, TER와 같은 재현율 중심 지표에서 더 우수한 성능를 보였다. 이는 상호 보완적인 강점을 지닌다.
• 어텐션 맵의 시각화 결과, 모델이 "청소년" 및 "트럼페트"와 같은 타겟 단어를 머리 부근의 해당 이미지 영역과 정확히 정렬하는 것을 확인하였으며, 이는 의미론적 어텐션 기반 정렬을 학습하고 있음을 입증한다.
• 모델는 도메인 내 이미지 캡션 데이터(Flickr30k)와 도메인 외 텍스트 전용 코퍼스(OPUS)를 효과적으로 활용하여 다양한 데이터 유형에 걸쳐 강건한 일반화 능력을 보였다.