[論文レビュー] Overview of Memotion 3: Sentiment and Emotion Analysis of Codemixed Hinglish Memes

Shreyash Mishra, S Suryavardan+10 more|arXiv (Cornell University)|Sep 12, 2023

Hate Speech and Cyberbullying DetectionComputer Science被引用数 3

ひとこと要約

本論文は、ヒンディー語-英語（ヒングリッシュ）のミームにおけるマルチモーダルなセンチメントおよび感情分析のための共有課題「Memotion 3」を提示し、10,000件のアノテート済みデータセットを提供した。参加者はCLIP、BERT、ViTなどのモデルを活用し、センチメント分類で34.41％、感情分類で79.77％、感情強度分類で59.82％の最高F1スコアを達成した。特に、コードミックスされた文脈における皮肉やユーモアの検出が、大きな課題となった。

ABSTRACT

Analyzing memes on the internet has emerged as a crucial endeavor due to the impact this multi-modal form of content wields in shaping online discourse. Memes have become a powerful tool for expressing emotions and sentiments, possibly even spreading hate and misinformation, through humor and sarcasm. In this paper, we present the overview of the Memotion 3 shared task, as part of the DeFactify 2 workshop at AAAI-23. The task released an annotated dataset of Hindi-English code-mixed memes based on their Sentiment (Task A), Emotion (Task B), and Emotion intensity (Task C). Each of these is defined as an individual task and the participants are ranked separately for each task. Over 50 teams registered for the shared task and 5 made final submissions to the test set of the Memotion 3 dataset. CLIP, BERT modifications, ViT etc. were the most popular models among the participants along with approaches such as Student-Teacher model, Fusion, and Ensembling. The best final F1 score for Task A is 34.41, Task B is 79.77 and Task C is 59.82.

研究の動機と目的

• ヒンディー語-英語（ヒングリッシュ）のミームという、複雑で文化的にニュアンスに富んだオンラインコミュニケーション形式におけるセンチメントおよび感情分析のためのマルチモーダルモデルの開発と評価を目的とする。
• 皮肉、ユーモア、文化的文脈が解釈に強く影響を与えるコードミックスされたマルチモーダルコンテンツにおいて、微細な感情やセンチメントを検出する課題に対処することを目的とする。
• ヒンディー語-英語のような低リソース言語対における自動ミーム理解の研究を前進させるため、ベンチマークデータセットと共有課題を提供することを目的とする。
• 現在のモデルがコードミックスされたミームにおける皮肉、ユーモア、攻撃的コンテンツをどのように処理できないかを特定し、現在のNLPおよびビジョンシステムにおけるギャップを浮き彫りにすることを目的とする。

提案手法

• 本課題では、センチメント（タスクA）、感情（タスクB）、感情強度（タスクC）の3つのタスクに分類された10,000件のヒングリッシュミームデータセットを公開した。各タスクは別々に評価された。
• 参加者は、視覚エンコーダー（例：ViT、CLIP）とテキストエンコーダー（例：BERT、RoBERTa）を組み合わせたマルチモーダルアーキテクチャを用いて、画像-テキストペアを処理した。
• 一般的な手法として、モデルアンサンブル、知識蒸留（Student-Teacher）、視覚的およびテキスト的表現のラテン統合が用いられ、予測のロバスト性を向上させた。
• 最良のパフォーマンスを示したシステムは、微調整されたCLIPおよびBERTベースのモデルにタスク固有のヘッド層を追加したもので、コードミックスに対応するため、位置埋め込みや損失関数の変更が行われた。
• 評価は、ホールドアウトされたテストセットにおけるF1スコアを用い、各タスクごとに独立して順位付けされたことで、センチメント、感情、強度予測の間での公平な比較が保証された。
• 誤分類例の分析により、皮肉やユーモアの検出における継続的な失敗モードが特定され、特にコードミックスされた言語的パターンに注目した。

Figure 1: Some samples for Task A from the 121 memes that were predicted incorrectly by all participating teams. Over half of the mis-classified memes are true negatives.

実験結果

リサーチクエスチョン

• RQ1 皮肉やユーモアが含まれるコードミックスされたヒングリッシュミームにおける、現在のマルチモーダルモデルのセンチメント検出効果はどの程度か？
• RQ2 ヒングリッシュミームにおける最も困難な感情カテゴリは何か？ また、言語的コードミックスとマルチモーダルな手がかりは、モデルのパフォーマンスにどのように影響するか？
• RQ3 CLIP や BERT といった既存の事前学習モデルは、感情強度予測の文脈において、低リソースでコードミックスされたマルチモーダルデータにどの程度一般化できるか？
• RQ4 なぜ一部のミーム（特にユーモアや皮肉を含むもの）は、参加したすべてのモデルによって一貫して誤分類されるのか？
• RQ5 コードミックスされたミーム理解における複数の感情およびセンチメントタスクのパフォーマンスを向上させるために、統合されたベースラインモデルを開発できるか？

主な発見

• センチメント分類（タスクA）の最高F1スコアは34.41％にとどまり、皮肉やコードミックスの複雑さを考慮すると、さらなる改善の余地が大きいことが示された。
• 感情分類（タスクB）は最高のパフォーマンスを示し、F1スコア79.77％を達成した。特に「ユーモア」と「皮肉」が検出が難しい感情クラスであった。
• 感情強度予測（タスクC）では最高F1スコア59.82％を記録したが、「非常に皮肉な」および「非常に面白い」が最も誤分類されやすいカテゴリであった。
• タスクCにおいて400件以上のミームがすべてのチームで誤分類され、その多くがコードミックスされており、マルチモーダルおよび言語的複雑性をモデル化する上での継続的な課題が浮き彫りになった。
• 3つのタスクすべてでベースラインを上回ったチームは、NUAA-QMUL-AIITとNYCU_TWOの2チームにとどまり、このマルチモーダルでコードミックスされた環境における一般化の難しさが裏付けられた。
• 誤分類例の多く（タスクAで121件、タスクBで231件、タスクCで421件）がコードミックスされており、ユーモアや皮肉に関連していたことから、これらが現在のモデルの主な失敗要因であることが確認された。

Figure 2: 242 memes from the test set were predicted incorrectly by all participants. Most of such memes are code-mixed and related to humor or sarcasm.