[논문 리뷰] M-BERT: Injecting Multimodal Information in the BERT Structure

Wasifur Rahman, K. M. Azharul Hasan외 3명|arXiv (Cornell University)|2019. 08. 15.

Multimodal Machine Learning Applications참고 문헌 11인용 수 31

한 줄 요약

이 논문은 다중모odal 정보(텍스트, 시각, 청각)를 BERT의 입력 공간에 직접 통합하는 M-BERT를 제안한다. BERT 인코더 이전에 모odal별 특징을 융합함으로써, CMU-MOSI 데이터셋에서 이진 정확도 84.38%로 새로운 최고 성능을 달성하였으며, 기존의 순수 BERT 및 이전의 다중모달 모델보다 각각 1.02%와 5.98% 높은 성능을 기록하였다.

ABSTRACT

Multimodal language analysis is an emerging research area in natural language processing that models language in a multimodal manner. It aims to understand language from the modalities of text, visual, and acoustic by modeling both intra-modal and cross-modal interactions. BERT (Bidirectional Encoder Representations from Transformers) provides strong contextual language representations after training on large-scale unlabeled corpora. Fine-tuning the vanilla BERT model has shown promising results in building state-of-the-art models for diverse NLP tasks like question answering and language inference. However, fine-tuning BERT in the presence of information from other modalities remains an open research problem. In this paper, we inject multimodal information within the input space of BERT network for modeling multimodal language. The proposed injection method allows BERT to reach a new state of the art of $84.38\%$ binary accuracy on CMU-MOSI dataset (multimodal sentiment analysis) with a gap of 5.98 percent to the previous state of the art and 1.02 percent to the text-only BERT.

연구 동기 및 목표

• 추가적인 모달(시각 및 청각 등)이 효과적으로 통합되지 않는 다중모달 언어 이해를 위한 BERT의 미세조정 문제를 해결하기 위해.
• BERT의 다중모달 상호작용 모델링 능력을 향상시켜 다중모달 감성 분석 작업의 성능을 향상시키기 위해.
• BERT의 입력 표현에 다중모달 신호를 직접 통합함으로써 CMU-MOSI 벤치마크에서 최고 성능을 달성하기 위해.
• 입력 공간에 다중모달 특징을 통합하는 것이 아키텍처 수정보다 간단하면서도 효과적인 대안임을 보여주기 위해.

제안 방법

• 제안된 방법은 BERT의 트랜스포머 인코더 이전에 입력 임베딩 레이어에 모달별 특징(텍스트, 시각, 청각)을 통합한다.
• 다중모달 특징은 원본 BERT 입력 임베딩과 연결되며, 이로써 모델의 사전 훈련된 어텐션 메커니즘을 유지한다.
• 모델은 초기 융합을 사용하여, 다양한 모달의 특징을 트랜스포머 인코더가 처리하기 전 입력 수준에서 통합한다.
• 입력 표현은 BERT 풀링 토큰 임베딩과 시각 및 청각의 모달별 특징을 연결하여 구성된다.
• 표준 BERT 최적화 및 손실 함수를 사용하여 모델을 CMU-MOSI 데이터셋에서 엔드 투 엔드로 미세조정한다.
• 이 방법은 원래 BERT 아키텍처를 유지하며, 어텐션 메커니즘 또는 트랜스포머 레이어에 대한 변경 사항이 없다.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이 BERT의 입력 공간에 다중모달 정보를 효과적으로 통합할 수 있는가?
• RQ2 텍스트, 시각, 청각의 입력 수준 융합이 다중모달 감성 분류 성능에 어떻게 기여하는가?
• RQ3 제안된 방법이 벤치마크 데이터셋에서 순수 BERT 및 이전의 다중모달 BERT 모델보다 얼마나 뛰어나게 성능을 높이는가?
• RQ4 후기 융합 또는 모달별 적응과 비교해 볼 때, 다중모달 특징의 초기 융합이 다중모달 상호작용 학습에 더 나은 성능을 내는가?
• RQ5 간단한 입력 주입 전략이 다중모달 감성 분석에서 최고 성능을 달성할 수 있는가?

주요 결과

• M-BERT는 다중모달 감성 분석에서 CMU-MOSI 데이터셋에서 이진 정확도 84.38%로 새로운 최고 성능을 달성하였다.
• 모델은 순수 BERT 베이스라인보다 1.02%포인트 높은 성능을 기록하여, 다중모달 통합의 효과를 입증하였다.
• 이전 최고 성능을 5.98%포인트 뛰어넘어 상당한 성능 향상을 보였다.
• 결과는 BERT 아키텍처를 수정하지 않고도 입력 공간에 다중모달 특징을 통합하는 것으로 강력한 성능을 달성할 수 있음을 시사한다.
• 이 방법은 BERT의 효율성과 확장성을 유지하면서도 견고한 다중모달 이해 능력을 제공한다.
• 이 방법의 성공은 입력 공간에서의 초기 융합이 다중모달 NLP 작업에 대해 실현 가능하고 효과적인 전략임을 시사한다.