[논문 리뷰] Supervised Multimodal Bitransformers for Classifying Images and Text

Douwe Kiela, Suvrat Bhooshan외 3명|arXiv (Cornell University)|2019. 09. 06.

Multimodal Machine Learning Applications참고 문헌 50인용 수 163

한 줄 요약

텍스트가 지배적 모달리티일 때 효과적인 멀티모달 융합의 필요성을 동기 부여한다.

ABSTRACT

Self-supervised bidirectional transformer models such as BERT have led to dramatic improvements in a wide variety of textual classification tasks. The modern digital world is increasingly multimodal, however, and textual information is often accompanied by other modalities such as images. We introduce a supervised multimodal bitransformer model that fuses information from text and image encoders, and obtain state-of-the-art performance on various multimodal classification benchmark tasks, outperforming strong baselines, including on hard test sets specifically designed to measure multimodal performance.

연구 동기 및 목표

• 텍스트가 지배적 모달리티일 때 효과적인 멀티모달 융합의 필요성을 동기 부여한다.
• 멀티모달 작업을 위해 단일 모달로 사전학습된 텍스트 및 이미지 인코더를 미세조정하는 간단한 베이스라인을 제안한다.
• 두 모달리티 모두에 대한 자체 주의(Self-attention)가 텍스트가 주를 이루는 멀티모달 분류 작업에서 강한 성능을 낸다는 것을 보여준다.
• 이 접근법이 ViLBERT와 같은 멀티모달 사전학습 모델과 경쟁력을 보이면서도 더 간단하고 확장 가능함을 보여준다.

제안 방법

• KM 격자 셀에서 N개의 이미지 임베딩을 생성하기 위해 ResNet-152 이미지 인코더를 사용한다.
• 학습된 행렬 W_n을 통해 각 이미지 임베딩을 D차원의 BERT 입력 공간으로 투영한다.
• 텍스트와 이미지 임베딩을 사전 학습된 BERT 가중치에서 초기화된 BERT 유사 양방향 트랜스포머로 입력되는 컨텍스추얼 임베딩으로 결합한다.
• 멀티클래스 크로스엔트로피 또는 다중 레이블에 대한 이진 크로스엔트로피와 같은 작업에 적합한 손실로 엔드 투 엔드 미세조정한다.
• 다양한 모달리티의 존재 여부를 세그먼트 임베딩과 여러 모달리티와 호환되는 유연한 입력 계층으로 처리한다.

실험 결과

연구 질문

• RQ1 자체 주의(Self-attention)를 통해 융합된 단일 모달 텍스트 및 이미지 인코더가 텍스트가 주류인 멀티모달 작업에서 기존의 멀티모달 융합 베이스라인을 능가할 수 있는가?
• RQ2 감독형 멀티모달 융합 모델이 ViLBERT과 같은 자기지도(Self-supervised) 멀티모달 사전학습 체계의 성능에 얼마나 가까워질 수 있는가?
• RQ3 미세조정 중 구성 요소의 동결/해제가 멀티모달 융합 품질에 영향을 미치는가?
• RQ4 추론 시 모달리티 누락에 대해 제안된 이미지-대- BERT 공간 매핑이 견고한가?
• RQ5 어려운 멀티모달 사례에서 Concat 기반이나 게이트 기반 융합 방법에 비해 MMBT의 비교 이점은 무엇인가?

주요 결과

• MMBT는 텍스트가 주를 이루는 멀티모달 작업들(MM-IMDB, FOOD101, V-SNLI)에서 여러 강력한 융합 베이스라인을 능가한다.
• MMBT는 ViLBERT와 경쟁적이며 때로는 멀티모달 사전학습 없이도 그 성능에 필적하거나 이를 능가한다.
• 하드 서브셋 평가에서 단일 모달 신호가 충돌할 때도 MMBT가 강한 멀티모달 성능을 유지하는 것을 보여준다.
• 동결/해제 실험은 이미지 인코더를 더 일찍 해제하는 전략이 더 나은 멀티모달 통합을 낳는다는 것을 시사한다.
• 제약된 파라미터 비교는 MMBT가 더 깊은 ConcatBert 구성보다 성능이 앞설 수 있음을 시사하며, 파라미터 수 그 이상으로 효과적인 융합을 나타낸다.