[논문 리뷰] Gated Multimodal Units for Information Fusion

John Arévalo, Thamar Solorio외 2명|arXiv (Cornell University)|2017. 02. 07.

Explainable Artificial Intelligence (XAI)인용 수 51

한 줄 요약

논문은 Gated Multimodal Unit (GMU)을 도입하여 신경망 내 다중 모달 정보를 융합하는 차등 가능한 게이팅 메커니즘을 제시하고, 플롯과 포스터를 활용한 멀티모달 영화 장르 분류에서 그 효과를 입증하며, 여러 융합 베이스라인을 능가한다.

ABSTRACT

This paper presents a novel model for multimodal learning based on gated neural networks. The Gated Multimodal Unit (GMU) model is intended to be used as an internal unit in a neural network architecture whose purpose is to find an intermediate representation based on a combination of data from different modalities. The GMU learns to decide how modalities influence the activation of the unit using multiplicative gates. It was evaluated on a multilabel scenario for genre classification of movies using the plot and the poster. The GMU improved the macro f-score performance of single-modality approaches and outperformed other fusion strategies, including mixture of experts models. Along with this work, the MM-IMDb dataset is released which, to the best of our knowledge, is the largest publicly available multimodal dataset for genre prediction on movies.

연구 동기 및 목표

• 다양한 모달 표현 학습의 동기를 부여하고 간단한 융합 전략의 한계를 보여준다.
• 중간 표현에 대해 모달리티별 게이트 활성화를 학습하는 학습 가능한 GMU 모듈을 제안한다.
• 플롯과 포스터 데이터를 활용한 다중 레이블 영화 장르 분류 작업에서 GMU의 효과를 입증한다.
• 다중 모달 연구를 장르 예측에서 지원하기 위해 MM-IMDb 데이터셋을 공개한다.

제안 방법

• GMU 소개: h_v = tanh(W_v x_v), h_t = tanh(W_t x_t), z = sigmoid(W_z [x_v, x_t]), h = z * h_v + (1 - z) * h_t; 더 많은 모달리티로 확장 가능.
• 텍스트를 n-gram, Word2Vec (사전 학습된 Google 임베딩) 또는 RNN 계열로 표현하거나 시각 정보를 VGG 특징(전이 학습) 또는 엔드투엔드 CNN으로 표현.
• 융합된 표현에 대해 maxout 활성화를 갖는 다층 퍼셉트론을 학습하고 배치 정규화, 드롭아웃 및 ADAM 최적화를 사용한다.
• MM-IMDb 데이터셋을 활용한 다중 레이블 영화 장르 분류 설정에서 GMU를 평가하고, 평균 융합, 연결(concatenation), 선형 합, Mixture-of-Experts(MoE)와 같은 베이스라인과 비교한다.
• 실험을 위해 MM-IMDb 다중 모달 데이터셋(플롯, 포스터, 장르 및 50개의 추가 메타데이터)을 공개하고 사용한다.

실험 결과

연구 질문

• RQ1 GMU가 입력 의존 게이트 활성화를 학습하여 중간 표현에 대한 모달리티 가중치를 조정할 수 있는가?
• RQ2 GMU가 일반적인 융합 전략(초기/최종 융합) 및 MoE를 다중 모달 분류 태스크에서 능가하는가?
• RQ3 실제 다중 레이블 다중 모달 데이터셋(MM-IMDb)에서 영화 장르 예측에 대해 GMU의 성능은 어떤가?
• RQ4 GMU를 사용할 때 장르별로 텍스트와 시각 모달리티 간 기여 균형은 어떻게 되는가?

주요 결과

• GMU는 다중 레이블 영화 장르 태스크에서 단일 모달 베이스라인보다 매크로 F-score를 향상시킨다.
• GMU는 MM-IMDb 데이터셋에서 간단한 연결(concatenation), 평균 융합, 선형 합 및 MoE 변형 등 다른 융합 전략을 능가한다.
• 장르별 분석에서 GMU는 많은 장르에 대해 더 높은 매크로 F-score를 보이며, 전반적으로 23개 장르 중 16개에서 단일 모달에 비해 다중 모달 성능을 향상시킨다.
• 게이트 활성화 분석은 모델이 일반적으로 텍스트 정보 쪽으로 기울고, 특정 장르(예: 애니메이션, 패밀리)의 경우 시각적 영향이 더 크다는 것을 보여준다.
• MM-IMDb 데이터셋(플롯, 포스터 및 메타데이터가 포함된 25,959편의 영화)을 커뮤니티에 공개하여 다중 모달 연구를 촉진한다.
• 합성 실험은 GMU가 주어진 샘플에 대해 어느 모달리티가 정보에 유익한지에 대응하는 잠재 변수(latent variable)를 학습함을 나타낸다(게이트 활성화와 모달리티 유용성 간의 상관관계).