[論文レビュー] MMTF-DES: A Fusion of Multimodal Transformer Models for Desire, Emotion, and Sentiment Analysis of Social Media Data

Abdul Aziz, Nihad Karim Chowdhury+3 more|arXiv (Cornell University)|Oct 22, 2023

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本論文は、MSEDベンチマークデータセットを用いて、感情分析で3%、感情分析で2.2%、欲求分析で1%の優位性を示し、ViLTとVAuLTエンコーダーを統合して、ソーシャルメディアの画像・テキストペアにおける欲求、感情、感情を統合的に分析する統合型マルチモーダルトランスフォーマーフレームワークMMTF-DESを提案する。早期特徴統合とマルチサンプルドロップアウトを採用することで、最先端の性能を達成した。

ABSTRACT

Desire is a set of human aspirations and wishes that comprise verbal and cognitive aspects that drive human feelings and behaviors, distinguishing humans from other animals. Understanding human desire has the potential to be one of the most fascinating and challenging research domains. It is tightly coupled with sentiment analysis and emotion recognition tasks. It is beneficial for increasing human-computer interactions, recognizing human emotional intelligence, understanding interpersonal relationships, and making decisions. However, understanding human desire is challenging and under-explored because ways of eliciting desire might be different among humans. The task gets more difficult due to the diverse cultures, countries, and languages. Prior studies overlooked the use of image-text pairwise feature representation, which is crucial for the task of human desire understanding. In this research, we have proposed a unified multimodal transformer-based framework with image-text pair settings to identify human desire, sentiment, and emotion. The core of our proposed method lies in the encoder module, which is built using two state-of-the-art multimodal transformer models. These models allow us to extract diverse features. To effectively extract visual and contextualized embedding features from social media image and text pairs, we conducted joint fine-tuning of two pre-trained multimodal transformer models: Vision-and-Language Transformer (ViLT) and Vision-and-Augmented-Language Transformer (VAuLT). Subsequently, we use an early fusion strategy on these embedding features to obtain combined diverse feature representations of the image-text pair. This consolidation incorporates diverse information about this task, enabling us to robustly perceive the context and image pair from multiple perspectives.

研究の動機と目的

• ソーシャルメディアにおけるマルチモーダルな人間の欲求理解という未だ十分に検討されていない課題に取り組むこと。これは感情や感情と密接に結びついているが、強固なモデリングフレームワークに欠けている。
• 特に、微細な人間の欲求を捉えるために、画像・テキストペアの特徴表現を無視する既存手法の限界を克服すること。
• マルチモーダルトランスフォーマーエンコーダーを用いて、欲求、感情、感情を統合的にモデル化する統一的でエンド・ツー・エンドのフレームワークを開発すること。
• 統合されたマルチモーダル表現に新たなマルチサンプルドロップアウト戦略を適用することで、モデルの一般化性能と学習効率を向上させること。
• 新しく導入されたMSEDベンチマークデータセットを用いて、早期統合とマルチモーダル表現学習の有効性を検証すること。

提案手法

• 本手法は、MSEDデータセットの画像・テキストペアに対して、事前学習済みの2つのマルチモーダルトランスフォーマー（視覚・言語トランスフォーマー：ViLT、視覚・拡張言語トランスフォーマー：VAuLT）を用いて、統合的微調整を実行する。
• ViLTとVAuLTから抽出された文脈化された視覚的・言語的埋め込みを連結することで、早期統合戦略を採用し、統一されたマルチモーダル表現を構築する。
• 統合表現にマルチサンプルドロップアウト機構を適用することで、一般化性能の向上と学習速度の加速を図る。
• モデルはエンド・ツー・エンドで学習され、各画像・テキストペアについて3つのラベル（欲求、感情、感情）を同時に予測する。
• 入力ペア内の視覚的・言語的モダリティの相互作用を活用し、入力内での内部的および相互モダリティ的関係を捉える。
• モデルが欲求関連コンテンツを検出する能力をよりよく評価・理解できるよう、新たな二値の欲求分析タスクを導入する。

実験結果

リサーチクエスチョン

• RQ1 ViLTとVAuLTの特徴表現の早期統合は、欲求、感情、感情のマルチモーダル理解の向上にどの程度有効であるか？
• RQ2 マルチサンプルドロップアウトは、提案されたMMTF-DESフレームワークにおいて、一般化性能と学習速度をどの程度向上させるか？
• RQ3 MMTF-DESは、MSEDベンチマーク上で、最先端手法と比較して、統合的欲求、感情、感情分析においてどの程度優れているか？
• RQ4 提案されたフレームワークは、明示的ではなく画像・テキストペアを通じて示唆される微細な人間の欲求を効果的に捉えることができるか？
• RQ5 個々のモデルの誤りパターンは何か？また、早期統合はそれらをどのように是正するか？

主な発見

• MSEDベンチマークデータセットを用いて、MMTF-DESは既存の最先端手法を感情分析で3%、感情分析で2.2%、欲求分析で約1%上回る。
• 早期統合戦略により、個々のモデル（ViLTとVAuLT）が失敗する例でも正しく分類できることが示され、補完的特徴学習によるロバスト性が裏付けられた。
• マルチサンプルドロップアウト機構により、一般化性能が向上し、学習が加速し、全タスクで平均1.7%の性能向上が達成された。
• 誤り分析の結果、単一モデルの予測が失敗するような複雑なマルチモーダル例（例えば、微細な感情的または欲求駆動的サインを含むもの）についても、フレームワークが正しく分類できることを示した。
• 提案された二値の欲求分析タスクにより、MMTF-DESが暗黙の欲求信号を効果的に捉え、解釈可能性とタスク固有のパフォーマンスが向上することが明らかになった。
• モデルは強力なモダリティ間連携を示しており、視覚的および言語的特徴が、すべての3つの分類タスクにおいて、正確な予測に顕著に寄与している。