[論文レビュー] SemEval-2020 Task 8: Memotion Analysis -- The Visuo-Lingual Metaphor!

Chhavi Sharma, Deepesh Bhageria+6 more|arXiv (Cornell University)|Aug 9, 2020

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本論文は、視覚的および言語的モダリティを用いてインターネットミームの感情の分類、感情タイプ（皮肉、ユーモラス、攻撃的、モチベーショナル）および感情の強度を分類するためのマルチモーダルベンチマークであるSemEval-2020 Task 8、Memotion Analysisを紹介する。このタスクでは、10,000件の人的ラベル付ミームが公開され、それぞれの分類タスクにおけるF1（マクロ）スコアは感情分類で0.35、感情タイプ分類で0.51、強度分類で0.32を記録し、ミームにおけるマルチモーダル感情理解の難易度が浮き彫りになった。

ABSTRACT

Information on social media comprises of various modalities such as textual, visual and audio. NLP and Computer Vision communities often leverage only one prominent modality in isolation to study social media. However, the computational processing of Internet memes needs a hybrid approach. The growing ubiquity of Internet memes on social media platforms such as Facebook, Instagram, and Twiter further suggests that we can not ignore such multimodal content anymore. To the best of our knowledge, there is not much attention towards meme emotion analysis. The objective of this proposal is to bring the attention of the research community towards the automatic processing of Internet memes. The task Memotion analysis released approx 10K annotated memes, with human-annotated labels namely sentiment (positive, negative, neutral), type of emotion (sarcastic, funny, offensive, motivation) and their corresponding intensity. The challenge consisted of three subtasks: sentiment (positive, negative, and neutral) analysis of memes, overall emotion (humour, sarcasm, offensive, and motivational) classification of memes, and classifying intensity of meme emotion. The best performances achieved were F1 (macro average) scores of 0.35, 0.51 and 0.32, respectively for each of the three subtasks.

研究の動機と目的

• 視覚的および言語的コンテンツを組み合わせたマルチモーダルインターネットミームの感情理解のための分析の増加する課題に対処すること。
• 感情、感情タイプ、強度ラベルが付与された10,000件のミームからなる大規模かつ人的ラベル付データセットを提供し、マルチモーダル感情計算分野の研究を支援すること。
• SNS上でますます一般的になっている皮肉、ユーモア、攻撃的表現、モチベーショナルな感情の自動検出を促進すること。
• 単一モダリティアプローチを越えて、ミームの微細な感情的コンテンツを捉えるためにマルチモーダル統合技術の有効性を評価すること。

提案手法

• 3つのサブタスクからなる：感情分類（ポジティブ、ネガティブ、ニュートラル）、感情タイプ分類（皮肉、ユーモラス、攻撃的、モチベーショナル）、リッカート尺度を用いた感情強度の定量化。
• 感情、感情タイプ、強度についてラベル付けされた10,000件のミームを含むマルチモーダルデータセットを収集し、抽出されたテキストキャプションと画像特徴量を含む。
• 初期統合および後期統合を含むマルチモーダル統合技術を用いたベースラインモデルを開発し、視覚的および言語的特徴抽出にResNet-50、BiLSTM、RoBERTaなどのモデルを用いた。
• 統合性能の評価のために、深層学習モデル（MLP）と組み合わせてランダムフォレストやKNNなどの統計的モデリング手法を用いた。
• 画像とテキストモダリティ間の相関を評価するために、線形判別分析（CCA）およびディープCCAを適用した。その結果、相関よりも補完性が顕著であることが示された。
• 参加者にはモダリティ貢献の分析が奨励され、多くのモデルがマルチモーダル統合を上回る性能を発揮した。これは、モダリティ固有のモデリングがより効果的である可能性を示唆している。

実験結果

リサーチクエスチョン

• RQ1 インターネットミームにおける感情分類および感情タイプ分類において、マルチモーダル統合戦略はどの程度効果的か？
• RQ2 視覚的および言語的モダリティは、それらを組み合わせた場合と比較して、ミームにおける感情認識にどの程度独立して貢献するか？
• RQ3 リッカート尺度ラベル付け方式を用いることで、ミームにおける感情表現の強度を信頼性高く定量化できるか？
• RQ4 なぜ一部のモデルは両方のモダリティを統合するのではなく、単一モダリティ（テキストまたは画像）のみを用いることでより高い性能を発揮するのか？
• RQ5 文化的および文脈的依存性のため、ミームにおける皮肉、攻撃的表現、ユーモアの検出に直面する主な課題は何か？

主な発見

• 最高のパフォーマンスを示したシステムは、感情タイプ分類タスクでマクロF1スコア0.51を達成し、皮肉、ユーモア、攻撃的表現、モチベーショナルな感情の識別において中程度の成功を示した。
• 感情分類ではマクロF1スコア0.35を記録し、マルチモーダルミームコンテンツからの感情の捉えにくさが顕著に表れた。
• 強度分類ではマクロF1スコア0.32を記録し、感情表現の度合いを定量化する性能が低いことが示された。
• 多くの上位パフォーマンスモデルが、テキストまたは画像特徴のみを用いることで、マルチモーダル統合を上回る結果を得ており、統合手法が必ずしもミーム分析で性能向上をもたらさない可能性を示唆している。
• 分析の結果、ミームにおける画像とテキストは相関よりも補完的であることが判明し、統合手法としてのアライメントベースのアプローチが最適であるという仮定に疑問を呈した。
• 参加者からの洞察は、とりわけポopカルチャーに基づくドメイン特化型ミームにおいて、文化的および文脈的知識がミーム理解において極めて重要であることを強調した。