[논문 리뷰] Gumbel-Attention for Multi-modal Machine Translation

Pengbo Liu, Hailong Cao외 1명|arXiv (Cornell University)|2021. 03. 16.

Natural Language Processing Techniques참고 문헌 20인용 수 17

한 줄 요약

이 논문은 다중모달 기계 번역에서 불필요한 이미지 영역으로 인한 노이즈를 줄이기 위해 선택적으로 텍스트 관련 시각적 특징에 주목하는, 미분 가능하고 Gumbel-Sigmoid 기반의 Gumbel-Attention을 제안한다. 실험 결과, 세 가지 벤치마크 데이터셋에서 최고 성능 또는 최고에 가까운 성능을 달성하였으며, 텍스트 전용 Transformer보다 BLEU 점수를 1.5점 이상 향상시켰다.

ABSTRACT

Multi-modal machine translation (MMT) improves translation quality by introducing visual information. However, the existing MMT model ignores the problem that the image will bring information irrelevant to the text, causing much noise to the model and affecting the translation quality. This paper proposes a novel Gumbel-Attention for multi-modal machine translation, which selects the text-related parts of the image features. Specifically, different from the previous attention-based method, we first use a differentiable method to select the image information and automatically remove the useless parts of the image features. Experiments prove that our method retains the image features related to the text, and the remaining parts help the MMT model generates better translations.

연구 동기 및 목표

• 다중모달 기계 번역에서 불필요한 시각적 노이즈로 인한 번역 품질 저하 문제를 해결하기 위해.
• 원본 텍스트와 관련이 없는 이미지 영역을 자동으로 걸러내는, 미분 가능하고 종단 간(end-to-end) 학습이 가능한 방법을 개발하기 위해.
• 학습 가능한 선택 메커니즘을 통해 모델이 의미적으로 관련 있는 시각적 콘텐츠에 집중하도록 하여 번역 성능을 향상시키기 위해.
• 시각적 및 텍스트적 표현을 정렬하는 데 도움이 되는 다중모달 유사도 손실을 도입하기 위해.

제안 방법

• Gumbel-Attention 메커니즘은 Gumbel-Sigmoid 샘플링을 사용하여 이미지 특징에서 관련 있는 공간 영역을 미분 가능하게 선택함으로써, 기울기 기반 최적화를 가능하게 한다.
• Gumbel-Sigmoid는 Gumbel 노이즈를 사용한 확률적 샘플링을 통해 이산적 선택을 근사함으로써, 선택 과정을 통한 역전파를 허용한다.
• 표준 주의 메커니즘을 대체하여, 교차 주의 계산 중에 불필요한 시각적 특징을 억제하는 학습 가능한 희소 주의 마스크를 도입한다.
• 시각적 표현과 텍스트 표현 간의 유사도를 향상시키기 위해 다중모달 유사도 손실을 도입함으로써, 특징의 관련성을 강화한다.
• 이러한 구성 요소들을 트랜스포저 기반 인코더-디코더 프레임워크에 통합하여, 아키텍처의 단순성을 유지하면서 성능을 향상시킨다.
• 교차 엔트로피 손실과 제안된 다중모달 유사도 손실의 조합을 통해 종단 간으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한, 미분 가능한 주의 메커니즘이 다중모달 번역에서 불필요한 시각적 특징을 효과적으로 걸러낼 수 있는가?
• RQ2 표준 주의 메커니즘과 무작위 이미지 기반 베이스라인에 비해 Gumbel-Attention의 번역 품질은 어떻게 비교되는가?
• RQ3 다중모달 유사도 손실이 시각적 표현과 텍스트 표현 간의 정렬을 어느 정도 향상시키는가?
• RQ4 제안된 방법은 모델 복잡도를 낮추면서도 성능 향상을 유지하고, 쉽게 재현 가능할 수 있는가?
• RQ5 Gumbel-Attention 메커니즘은 현재 작업을 넘어 다른 다중모달 학습 시나리오로 일반화될 수 있는가?

주요 결과

• Gumbel-Attention 모델은 Multi30k Test2016 세트에서 BLEU 점수 39.2와 METEOR 57.8을 기록하였으며, 텍스트 전용 Transformer보다 BLEU 점수 1.5점 이상 높게 기록하였다.
• 기본 주의 메커니즘으로 Gumbel-Attention을 대체할 경우 성능이 1 BLEU점 이상 감소하여, 시각적 노이즈의 부정적 영향을 입증하였다.
• 무작위 이미지를 입력으로 사용하더라도 텍스트 전용 기반 모델보다 성능이 높게 나타나, 이미지 입력이 정규화 역할을 한다는 것을 시사한다.
• 제거 실험 결과, 다중모달 게이팅 퓨전과 유사도 손실 모두 효과적이며, 후자는 성능에 미미하지만 뚜렷한 영향을 미친다.
• 텍스트 및 이미지 인식 인코더 간 파라미터 공유를 해도 강력한 성능 유지를 보이며, 이는 효율성과 강건성을 시사한다.
• 모델은 모든 세 가지 벤치마크 데이터셋에서 최고 또는 최고에 가까운 성능을 기록하여, 그 효과성과 일반화 능력을 확인하였다.