[논문 리뷰] Modulating and attending the source image during encoding improves Multimodal Translation

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|2017. 12. 09.

Multimodal Machine Learning Applications참고 문헌 17인용 수 14

한 줄 요약

이 논문은 조건부 배치 정규화(CBN)를 사용하여 시각적 특징 추출을 조절하는 완전한 엔드 투 엔드 다중모달 번역 모델을 제안한다. 또한 텍스트 인코더 표현에 조건부인 인코더 기반 시각적 주의 메커니즘을 도입한다. 언어 기반 시각 처리와 인코딩 단계에서의 주의 메커니즘을 통합함으로써, 이 모델은 세 가지 벤치마크 데이터셋에서 새로운 최고 성능을 달성하였으며, Flickr Test2016에서 BLEU 점수는 최대 40.5에 이를 뿐 아니라, 모호한 MSCOCO 세트에서 27.3의 점수를 기록하였다.

ABSTRACT

We propose a new and fully end-to-end approach for multimodal translation where the source text encoder modulates the entire visual input processing using conditional batch normalization, in order to compute the most informative image features for our task. Additionally, we propose a new attention mechanism derived from this original idea, where the attention model for the visual input is conditioned on the source text encoder representations. In the paper, we detail our models as well as the image analysis pipeline. Finally, we report experimental results. They are, as far as we know, the new state of the art on three different test sets.

연구 동기 및 목표

• 학습 파이프라인 내에서 시각적 및 텍스트적 처리를 더 깊이 통합함으로써 다중모달 번역 모델의 성능 저하 문제를 해결한다.
• 기존의 디코더 기반 주의 메커니즘이 시각적 특징에 대해 가지는 한계를 극복하기 위해 주의 계산을 디코더 단계에서 인코더 단계로 이동시킨다.
• 원본 텍스트 인코더의 언어적 맥락을 사용하여 합성곱 신경망(CNN) 처리를 조절함으로써 번역에 적합한 특징을 향상시킨다.
• 고정된 사전 추출된 특징을 사용하는 것 대신, 텍스트 입력에 조건부인 시각적 특징 추출 방식을 적용하여 완전한 엔드 투 엔드 학습 프레임워크를 수립한다.
• 언어 조건부 시각 처리가 특히 해석이 모호한 작업에서 더 정보적인 이미지 표현을 제공함을 입증한다.

제안 방법

• 원본 텍스트 인코더의 은닉 상태에 조건부된 배치 정규화 파rameters를 사용하여 ResNet 인코더에 조건부 배치 정규화(CBN)를 적용함으로써 특징 추출을 조절한다.
• 원본 단어의 텍스트 표현 $\bm{h}_i$ 를 사용하여 시각적 특징에 대한 주의 가중치를 계산하는 인코더 기반 시각적 주의 메커니즘을 도입한다. 이는 디코더 상태가 아닌 원본 단어의 표현을 기반으로 한다.
• 양방향 GRU 인코더를 사용하여 각 원본 단어에 대한 맥락 기반 텍스트 애너테이션 $\bm{h}_i$ 를 생성하고, 이를 CBN과 시각적 주의 메커니즘의 조건으로 사용한다.
• 텍스트 애너테이션 $\bm{h}_i$ 와 해당되는 시각적 특징 $V_i$ 를 인코더 단계에서 융합하여 다중모달 표현을 구성함으로써, 디코딩 이전에 양방향 처리를 가능하게 한다.
• 모든 모델을 확률적 경사 하강법을 사용하여 음의 로그우도를 최소화하는 방식으로 엔드 투 엔드로 학습한다.
• 마지막 ResNet 스테이지의 미세조정 또는 최종 특징 맵의 전역 평균 풀링을 수행하여 다양한 설정 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 원본 텍스트 인코더의 표현에 조건부로 시각적 특징 추출을 조절함으로써 다중모달 번역 성능 향상이 가능한가?
• RQ2 디코더 단계에서 시각적 주의 계산을 인코더 단계로 이동시키면 더 나은 정렬과 번역 품질을 달성할 수 있는가?
• RQ3 시각 인코더에 조건부 배치 정규화(CBN)를 적용할 경우, 다중모달 환경에서 이미지 특징의 정보성은 어떻게 영향을 받는가?
• RQ4 CBN와 인코더 기반 주의 메커니즘과 함께 사용할 경우, ResNet v1과 v2의 다양한 변형이 다중모달 번역 성능에 어떤 영향을 미치는가?
• RQ5 고정된 사전 추출된 시각적 특징을 사용하는 모델보다 완전한 엔드 투 엔드 다중모달 번역 모델이 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• ResNet v1, CBN, 인코더 기반 주의 메커니즘을 적용한 모델(RN v1 CBN enc-att)은 Flickr Test2016에서 BLEU 점수 40.5 ± 0.8을 기록하여 이전 최고 성능인 38.4 ± 0.3을 초월하였다.
• 모호한 MSCOCO 테스트 세트에서 모델은 BLEU 점수 27.3 ± 0.9와 METEOR 점수 48.5 ± 0.4를 기록하여 새로운 최고 성능을 수립하였다.
• 조건부 배치 정규화(CBN)는 특히 전역 이미지 특징(Pool5)에 적용했을 때 성능 향상에 크게 기여하였으며, Test2016에서 BLEU 점수는 38.4에서 39.4로 상승하였다.
• 마지막 ResNet 스테이지를 미세조정하는 것은 고정된 가중치를 사용하는 것보다 성능 향상이 없었으며, 이는 CBN만으로도 효과적인 조절이 가능함을 시사한다.
• 디코더 기반 주의 메커니즘보다 인코더 기반 주의 메커니즘이 더 뛰어난 성능을 보였으며, 이는 초기 단계에서 다중모달 표현을 융합하는 것이 더 효과적임을 나타낸다.
• Architectural improvements를 제공하는 ResNet v2는 성능 향상 대비 약간의 성능 저하를 보였으며, 이는 아키텍처 선택이 복잡한 방식으로 다중모달 상호작용에 영향을 줄 수 있음을 시사한다.