[논문 리뷰] Learning Multimodal Word Representation via Dynamic Fusion Methods

Shaonan Wang, Jiajun Zhang외 1명|arXiv (Cornell University)|2018. 01. 02.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

이 논문은 다중모odal 단어 표현 학습에서 언어적 및 시각적 모달리티에 대한 적응형 가중치를 학습하기 위해 모달리티별, 카테고리별, 샘플별 게이트를 포함한 세 가지 동적 융합 방법을 제안한다. 단어 연관성 쌍에서의 약한 지도를 통해 모델은 여섯 가지 벤치마크에서 강력한 단모달 및 다중모달 기준 모델을 능가하며, 학습된 가중치는 구체적 단어와 추상적 단어 간 명확한 구분을 보인다.

ABSTRACT

Multimodal models have been proven to outperform text-based models on learning semantic word representations. Almost all previous multimodal models typically treat the representations from different modalities equally. However, it is obvious that information from different modalities contributes differently to the meaning of words. This motivates us to build a multimodal model that can dynamically fuse the semantic representations from different modalities according to different types of words. To that end, we propose three novel dynamic fusion methods to assign importance weights to each modality, in which weights are learned under the weak supervision of word association pairs. The extensive experiments have demonstrated that the proposed methods outperform strong unimodal baselines and state-of-the-art multimodal models.

연구 동기 및 목표

• 기존의 다중모달 모델이 단어 유형에 관계없이 모든 모달리티를 동일하게 취급하는 한계를 해결하기 위해.
• 단어 연관성 쌍에서의 약한 지도를 통해 언어적 및 시각적 모달리티의 중요도 가중치를 모달리티별로 학습하기 위해.
• 구체적 단어는 더 많은 감각(시각적) 입력에 의존하고, 추상적 단어는 더 많은 언어적 입력에 의존한다는 가설을 모델링하기 위해.
• 단어 유형, 모달리티 또는 카테고리에 따라 동적으로 융합 가중치를 조정함으로써 다중모달 워드 표현을 향상시키기 위해.
• 추상적 단어와 구체적 단어가 뇌에서 다르게 인코딩된다는 인지 이론을 컴퓨터적 증거로 뒷받침하기 위해.

제안 방법

• 언어적 및 시각적 모달리티에 대한 주의 가중치를 학습하는 세 가지 동적 융합 메커니즘인 모달리티별 게이트(M-gate), 카테고리별 게이트(C-gate), 샘플별 게이트(S-gate)를 도입한다.
• 예를 들어 wealthy-rich, jigsaw-puzzle와 같은 단어 연관성 쌍을 약한 지도로 사용하여, 모델이 모달리티 중요도 가중치를 학습하도록 이끈다.
• 각 단어에 대해, 학습된 게이트 메커니즘을 통해 언어적 및 시각적 표현의 가중 조합을 계산하며, 게이트 파rameter는 단어 쌍의 대조 손실을 통해 최적화된다.
• 모달리티별 게이트는 모든 단어에 대해 모달리티당 하나의 가중치를 할당하며, 카테고리별 게이트는 초감각 카테고리별로 가중치를 할당하고, 샘플별 게이트는 각 단어별로 개별 가중치를 할당한다.
• 게이트 벡터의 $l_2$-노름을 활용해 학습된 모달리티 중요도를 분석하고, 단어의 구체성과 모달리티 가중치 비율 간 스피어만 상관계수를 계산한다.
• 단어 쌍의 다중모달 표현이 유사해지도록 보장하기 위해, 대조 목표를 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 고정된 가중치 융합 대비, 언어적 및 시각적 모달리티의 동적 융합이 다중모달 워드 표현 품질을 향상시킬 수 있는가?
• RQ2 학습된 모달리티 중요도 가중치가 인지적 차이를 반영하는가? 즉, 구체적 단어와 추상적 단어 간의 차이를 반영하는가?
• RQ3 학습된 모달리티 가중치 비율이 인간이 애너테이션한 단어의 구체성과 상관이 있는가?
• RQ4 모달리티별, 카테고리별, 샘플별 게이트 메커니즘은 성능 및 해석 가능성에 다른 영향을 미치는가?
• RQ5 골드 의미 벡터 없이도 단어 연관성에서의 약한 지도가 모달리티 융합 가중치 학습에 효과적으로 기여할 수 있는가?

주요 결과

• 제안된 동적 융합 모델은 여섯 개의 표준 벤치마크에서 강력한 단모달 및 최첨단 다중모달 기준 모델을 뛰어넘는 성능을 보였다.
• 모달리티별 게이트(M-gate)는 언어적-시각적 가중치 비율을 1.186:0.045로 학습하여 언어적 모달리티가 전체적으로 지배적임을 보였다.
• 샘플별 게이트(S-gate)는 추상적 단어에 대해 언어적-시각적 가중치 비율을 3.714:1로, 구체적 단어에 대해 2.975:1로 할당하여 단어 유형에 민감함을 보였다.
• S-gate 모델은 단어의 구체성과 모달리티 가중치 비율 간 스피어만 상관계수 0.614를 기록하여 인지적으로 타당함을 뒷받침했다.
• 카테고리별 게이트(C-gate)는 추상적 요소가 많은 카테고리(예: Cognition, Attribute)가 감각적 요소가 많은 카테고리(예: Shape, Object)보다 더 높은 언어적-시각적 가중치 비율을 가짐을 보였다.
• M-gate 및 C-gate 모델도 단어의 구체성과 모달리티 가중치 비율 간 강한 상관관계(0.458)를 보였으며, 이는 모델이 인간과 유사한 모달리티 선호도를 학습할 수 있음을 확인했다.