[論文レビュー] TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models

Md. Kamrul Hasan, Md. Saiful Islam+5 more|arXiv (Cornell University)|Mar 27, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

TextMI は、動画からの音声的・視覚的非言語的特徴を自然言語による記述に変換する手法を提案する。その後、これらの記述を話されたテキストと連結し、事前学習済み BERT モデルに供給することで、マルチモーダル行動理解を実現する。このアプローチは、マルチモーダル皮肉検出において優れた性能を発揮し、感情分析およびユーモア検出においてもほぼ最先端の結果を達成する。モデルの複雑さは顕著に低減され、解釈可能性が向上する。

ABSTRACT

Pre-trained large language models have recently achieved ground-breaking performance in a wide variety of language understanding tasks. However, the same model can not be applied to multimodal behavior understanding tasks (e.g., video sentiment/humor detection) unless non-verbal features (e.g., acoustic and visual) can be integrated with language. Jointly modeling multiple modalities significantly increases the model complexity, and makes the training process data-hungry. While an enormous amount of text data is available via the web, collecting large-scale multimodal behavioral video datasets is extremely expensive, both in terms of time and money. In this paper, we investigate whether large language models alone can successfully incorporate non-verbal information when they are presented in textual form. We present a way to convert the acoustic and visual information into corresponding textual descriptions and concatenate them with the spoken text. We feed this augmented input to a pre-trained BERT model and fine-tune it on three downstream multimodal tasks: sentiment, humor, and sarcasm detection. Our approach, TextMI, significantly reduces model complexity, adds interpretability to the model's decision, and can be applied for a diverse set of tasks while achieving superior (multimodal sarcasm detection) or near SOTA (multimodal sentiment analysis and multimodal humor detection) performance. We propose TextMI as a general, competitive baseline for multimodal behavioral analysis tasks, particularly in a low-resource setting.

研究の動機と目的

• 事前学習済み言語モデルが、非言語的特徴をテキスト形式で提示された場合に、効果的に統合できるかどうかを調査すること。
• エンドツーエンドのマルチモーダル統合を回避することで、マルチモーダル行動理解におけるモデルの複雑さとデータ要件を低減すること。
• 非言語的特徴を人間が読みやすいテキストとして表現することで、モデルの意思決定の解釈可能性を向上させること。
• 特に低リソース状況において、多様なマルチモーダル感情認識タスクのためのシンプルで一般化可能なベースラインを確立すること。

提案手法

• OpenFace および OpenSMILE を用いて動画から視覚的および音声的特徴を抽出する。
• K-means クラスタリングを用いて抽出された特徴を有限のグループにクラスタリングし、代表的な非言語的パターンを形成する。
• プロンプトベースの手法を用いて、各クラスタに対して自然言語記述（視覚的テキストおよび音声的テキスト）を生成する。
• 生成された視覚的テキストおよび音声的テキストを元の話されたテキストに統合し、統一されたテキスト入力を構築する。
• 下流のマルチモーダルタスク用に、拡張されたテキスト入力で事前学習済み BERT モデルを微調整する。
• 公開データセットを用いて、感情分析、ユーモア検出、皮肉検出の3つのマルチモーダルタスクでモデルを評価する。

Figure 1: Instead of using complex models that try to fuse multiple modalities, we rely on a single pre-trained language model (left). To textualize nonverbal (visual and acoustic) cues, we group unimodal features that frequently appear together into finite number of clusters, and then describe the

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルが、非言語的特徴をテキスト形式で提示された場合に、効果的に理解し、活用できるか？
• RQ2 視覚的および音声的特徴をテキスト化することで、従来のマルチモーダル統合と比較して、マルチモーダル行動理解タスクのパフォーマンスにどのような影響を与えるか？
• RQ3 このアプローチは、低リソース環境下で、どの程度モデルの複雑さを低減し、解釈可能性を向上させるか？
• RQ4 この手法は、多様なマルチモーダル感情認識タスクにおいて、強力で一般化可能なベースラインとして機能できるか？

主な発見

• TextMI はマルチモーダル皮肉検出で最先端の性能を達成し、既存の SOTA モデルを上回る。
• 感情分析およびユーモア検出において、すべての評価指標でほぼ最先端の性能を達成する。
• アブレーションスタディの結果、音声的テキストおよび視覚的テキストの追加が、特に CMU-MOSI や MUStARD のような小規模データセットにおいて、正確性を顕著に向上させることを確認した。
• テキストのみの BERT と比較して、感情強度の予測性能が向上しており、非言語的ニュアンスのより良い統合を示している。
• 非言語的特徴を自然言語記述として表現することで、モデルの意思決定の解釈可能性が向上している。
• 事前学習済み言語モデルの使用とトレーニングの複雑さの低減により、計算効率が高く、低リソース環境に適した手法である。

Figure 2: A multimodal sentiment analysis example to illustrate how the model put importance on text, acoustic and visual words. (a) word importance’s are highlighted by color. (b) shows how the visual-text and acoustic-text are extracted. [CLS] and [SEP] are special tokens of BERT.