[논문 리뷰] Multimodal Compact Bilinear Pooling for Multimodal Neural Machine Translation

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|2017. 03. 23.

Multimodal Machine Learning Applications참고 문헌 11인용 수 27

한 줄 요약

이 논문은 이원적 상호작용을 통해 시각적 및 텍스처적 주의 특징을 결합함으로써 다중모달 신경 기계 번역을 향상시키기 위해 다중모달 단순 이중곱 풀링(Multimodal Compact Bilinear Pooling, MCB)을 제안한다. 텐서 스케치를 사용하여 차원을 감소시켜 계산 가능성을 확보한다. MM 사전주의 모델은 주의 계산 이전에 MCB를 적용하여 29.75 BLEU 점수를 기록하며, 요소별 합과 곱셈 방법보다 뛰어난 성능을 보이며, 처리 파이프라인의 초기 단계에서 MCB를 적용할 경우의 효과를 입증한다.

ABSTRACT

In state-of-the-art Neural Machine Translation, an attention mechanism is used during decoding to enhance the translation. At every step, the decoder uses this mechanism to focus on different parts of the source sentence to gather the most useful information before outputting its target word. Recently, the effectiveness of the attention mechanism has also been explored for multimodal tasks, where it becomes possible to focus both on sentence parts and image regions. Approaches to pool two modalities usually include element-wise product, sum or concatenation. In this paper, we evaluate the more advanced Multimodal Compact Bilinear pooling method, which takes the outer product of two vectors to combine the attention features for the two modalities. This has been previously investigated for visual question answering. We try out this approach for multimodal image caption translation and show improvements compared to basic combination methods.

연구 동기 및 목표

• 다중모달 단순 이중곱 풀링(MCB)이 표준 특징 조합 방법보다 다중모달 신경 기계 번역 성능을 향상시키는지 조사하는 것.
• 고차원의 시각적 및 텍스처적 특징을 효율적으로 조합하면서 교차모달 상호작용을 유지하는 문제를 해결하는 것.
• MCB를 주의 메커니즘 이전에 적용하는 경우(MM 사전주의)와 이후에 적용하는 경우(MM 주의)의 성능 차이를 평가하는 것.
• 다중모달 번역 작업에서 MCB를 요소별 합, 곱셈, 연결과 비교하는 것.

제안 방법

• MCB는 텍스처적 및 시각적 주의 특징에 해당하는 두 개의 모odal 전용 컨텍스트 벡터의 외적 곱을 계산하여 고차원의 공동 표현을 생성한다.
• 계산 가능성을 확보하기 위해 외적 곱을 압축하기 위해 텐서 스케치 알고리즘을 적용하며, 압축된 벡터의 차원 d ∈ {512, 1024, 2048, 4096, 8192, 16000}로 설정한다.
• MM 사전주의 모델은 주의 메커니즘 이전에 MCB 풀링을 적용하여 주의 가중치가 고용량의 통합 특징 공간을 기반으로 계산되도록 한다.
• MM 주의 모델은 모달 전용 주의 벡터가 요소별 연산을 통해 결합된 후 MCB를 적용한다.
• MM 사전주의 모델에서는 MCB 이후에 두 개의 컨volutional layer를 사용하여 시각적 특징 맵에 대한 공간적 주의 가중치를 예측한다.
• 모델은 양방향 LSTM 인코더, 시각적 특징을 위한 ResNet-50, 텍스트 및 이미지 표현에 대해 소프트 주의를 사용하는 주의 기반 디코더를 사용한다.

실험 결과

연구 질문

• RQ1 요소별 합 또는 곱셈과 같은 표준 특징 조합 방법과 비교해 볼 때, 다중모달 단순 이중곱 풀링(MCB)이 다중모달 신경 기계 번역 성능을 향상시키는가?
• RQ2 MCB는 다중모달 NMT 모델의 주의 메커니즘에 효과적으로 적용될 수 있으며, 그 적용 위치(주의 이전 또는 이후)가 성능에 영향을 미치는가?
• RQ3 MCB 출력의 차원(d)이 번역 품질에 영향을 미치는가? 이 작업에서 MCB 차원의 최적 설정은 무엇인가?
• RQ4 주의 메커니즘 이전에 MCB 풀링을 적용하는 경우(MM 사전주의)가 이후에 적용하는 경우(MM 주의)보다 성능이 뛰어나게 되는가?
• RQ5 MCB는 특히 네트워크 내부에서 더 오래 지속되는 통합 특징 공간을 유지함으로써 다중모달 번역에서 더 나은 교차모달 상호작용을 가능하게 하는가?

주요 결과

• MCB를 사용하고 d=4096를 적용한 MM 사전주의 모델은 사전주의 설정에서 요소별 합(28.57)과 요소별 곱셈(29.14)보다 뛰어난 BLEU 점수 29.75를 기록하였다.
• MCB를 사용한 MM 주의 모델은 요소별 곱셈보다 성능 향상이 없었으며, BLEU 점수 28.48을 기록하였다. 이는 MCB의 이점이 중간 차원 감소 이후에 적용될 경우 약화됨을 시사한다.
• MCB를 사용한 MM 사전주의 모델은 요소별 합 대비 +0.62 BLEU, 요소별 곱셈 대비 +1.18 BLEU 향상된 성능을 기록하였으며, 이는 MCB를 통해 초기 융합이 성능 향상에 기여함을 의미한다.
• MM 사전주의 모델에서 MCB의 최적 차원은 d=4096로, 최고의 BLEU 점수 29.75를 기록하였으며, 더 높은 차원(d=8192 등)은 성능 저하로 이어졌다.
• MCB를 사용한 MM 사전주의 모델(d=4096)은 METEOR 점수 48.80을 기록하여 단모달 기준 모델(48.32)과 다른 조합 방법보다 유의미하게 뛰어난 성능을 보였다.
• 본 연구는 MCB 풀링이 네트워크의 초기 단계에서 적용될 경우에만 다중모달 번역에서 효과적임을 입증하였으며, 이는 고차원의 교차모달 상호작용을 유지하기 위함이다.