[논문 리뷰] TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models

Md. Kamrul Hasan, Md. Saiful Islam외 5명|arXiv (Cornell University)|2023. 03. 27.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

TextMI는 비디오에서 청각적 및 시각적 비언어적 신호를 자연어로 텍스트화한 후, 이를 말하기로 된 텍스트와 결합하여 사전에 훈련된 BERT 모델에 입력하여 다중모달 행동 이해를 수행한다. 이 방법은 다중모달 비웃음 감지에서 뛰어난 성능을 보이며, 감정 및 유머 감지에서도 거의 최고의 성능을 기록하며, 모델 복잡도를 크게 줄이고 해석 가능성도 향상시킨다.

ABSTRACT

Pre-trained large language models have recently achieved ground-breaking performance in a wide variety of language understanding tasks. However, the same model can not be applied to multimodal behavior understanding tasks (e.g., video sentiment/humor detection) unless non-verbal features (e.g., acoustic and visual) can be integrated with language. Jointly modeling multiple modalities significantly increases the model complexity, and makes the training process data-hungry. While an enormous amount of text data is available via the web, collecting large-scale multimodal behavioral video datasets is extremely expensive, both in terms of time and money. In this paper, we investigate whether large language models alone can successfully incorporate non-verbal information when they are presented in textual form. We present a way to convert the acoustic and visual information into corresponding textual descriptions and concatenate them with the spoken text. We feed this augmented input to a pre-trained BERT model and fine-tune it on three downstream multimodal tasks: sentiment, humor, and sarcasm detection. Our approach, TextMI, significantly reduces model complexity, adds interpretability to the model's decision, and can be applied for a diverse set of tasks while achieving superior (multimodal sarcasm detection) or near SOTA (multimodal sentiment analysis and multimodal humor detection) performance. We propose TextMI as a general, competitive baseline for multimodal behavioral analysis tasks, particularly in a low-resource setting.

연구 동기 및 목표

• 사전에 훈련된 언어 모델이 비언어적 신호를 텍스트 형태로 제시받을 경우 효과적으로 통합할 수 있는지 조사하는 것.
• 종단간 다중모달 융합을 피하여 다중모달 행동 이해에서 모델 복잡도와 데이터 요구량을 줄이는 것.
• 비언어적 특징을 인간이 읽을 수 있는 텍스트 형태로 표현함으로써 모델 결정의 해석 가능성 향상.
• 특히 자원이 제한된 상황에서 다양한 다중모달 정서 컴퓨팅 작업에 적용 가능한 단순하고 일반화 가능한 기준 모델 설정.

제안 방법

• OpenFace와 OpenSMILE를 사용하여 비디오에서 시각적 및 청각적 특징을 추출한다.
• K-means 군집화를 사용하여 추출된 특징을 유한한 그룹으로 분할하여 대표적인 비언어적 패턴을 형성한다.
• 프롬프트 기반 방법을 사용하여 각 군집에 대해 자연어 기술서(시각적-텍스트 및 청각적-텍스트)를 생성한다.
• 기존의 말하기 텍스트에 생성된 시각적-텍스트 및 청각적-텍스트를 보완하여 통합된 텍스트 입력을 형성한다.
• 하류 다중모달 작업을 위해 증강된 텍스트 입력으로 사전에 훈련된 BERT 모델을 미세조정한다.
• 공개 데이터셋을 사용하여 세 가지 다중모달 작업(감성, 유머, 비웃음 감지)에서 모델을 평가한다.

Figure 1: Instead of using complex models that try to fuse multiple modalities, we rely on a single pre-trained language model (left). To textualize nonverbal (visual and acoustic) cues, we group unimodal features that frequently appear together into finite number of clusters, and then describe the

실험 결과

연구 질문

• RQ1 사전에 훈련된 언어 모델이 비언어적 신호를 텍스트 형태로 제시받을 경우 효과적으로 이해하고 활용할 수 있는가?
• RQ2 시각적 및 청각적 특징을 텍스트화하는 것이 기존의 다중모달 융합 방식과 비교해 다중모달 행동 이해 작업 성능에 어떤 영향을 미치는가?
• RQ3 이 방법이 자원이 제한된 환경에서 모델 복잡도를 얼마나 줄이고 해석 가능성을 향상시키는가?
• RQ4 이 방법이 다양한 다중모달 정서 컴퓨팅 작업에 강력하고 일반화 가능한 기준 모델로 기능할 수 있는가?

주요 결과

• TextMI는 다중모달 비웃음 감지에서 최고 성능(SOTA)을 달성하며, 기존의 SOTA 모델들을 능가한다.
• 모든 평가 지표에서 다중모달 감성 분석 및 유머 감지에서 거의 최고 성능을 기록한다.
• 제거 실험 결과, 청각-텍스트 및 시각-텍스트를 추가함으로써 정확도가 크게 향상됨을 확인하였으며, 특히 CMU-MOSI 및 MUStARD와 같은 작은 데이터셋에서 두드러진다.
• 텍스트 전용 BERT보다 감성 강도 예측 성능이 향상되어 비언어적 뉘앙스의 통합이 더 잘 이루어졌음을 시사한다.
• 비언어적 신호를 자연어 기술서를 통해 접근 가능하게 하여 모델 결정의 해석 가능성 향상.
• 사전에 훈련된 언어 모델과 낮은 훈련 복잡도를 활용함으로써 계산 효율성이 높고, 자원이 제한된 환경에 적합하다.

Figure 2: A multimodal sentiment analysis example to illustrate how the model put importance on text, acoustic and visual words. (a) word importance’s are highlighted by color. (b) shows how the visual-text and acoustic-text are extracted. [CLS] and [SEP] are special tokens of BERT.