[論文レビュー] Memotion 3: Dataset on Sentiment and Emotion Analysis of Codemixed Hindi-English Memes

Shreyash Mishra, S Suryavardan+10 more|arXiv (Cornell University)|Mar 17, 2023

Humor Studies and Applications被引用数 5

ひとこと要約

Memotion 3 は、感情と感情の両方を注釈付けた10,000件のヒンディー語-英語コードミックス済みミームからなる新しいデータセットを紹介し、多言語ミーム分析における空白を埋めることを目的としている。このデータセットにより、低リソースでコードスイッチされたソーシャルメディアコンテンツのモデルベンチマークが可能となり、ベースラインモデルは感情分類で72.1%のF1スコア、感情分類で74.3%のF1スコアを達成した。

ABSTRACT

Memes are the new-age conveyance mechanism for humor on social media sites. Memes often include an image and some text. Memes can be used to promote disinformation or hatred, thus it is crucial to investigate in details. We introduce Memotion 3, a new dataset with 10,000 annotated memes. Unlike other prevalent datasets in the domain, including prior iterations of Memotion, Memotion 3 introduces Hindi-English Codemixed memes while prior works in the area were limited to only the English memes. We describe the Memotion task, the data collection and the dataset creation methodologies. We also provide a baseline for the task. The baseline code and dataset will be made available at https://github.com/Shreyashm16/Memotion-3.0

研究の動機と目的

• 多言語ミームデータセットの不足を解消するため、大規模でコードスイッチされたヒンディー語-英語ミームデータセットを導入すること。
• 低リソースで社会的に関連性があり、言語的に多様なマルチモーダルコンテンツにおける感情と感情分析の研究を可能にすること。
• コードミックスされたマルチモーダル理解タスクにおけるモデル評価のための標準化されたベンチマークを提供すること。
• ソーシャルメディア上での非公式でユーモラスで、有害なコンテンツを処理できる強固なNLPシステムの開発を支援すること。
• キュレートされた人間による注釈付けが施されたデータセットを通じて、多言語的・マルチモーダルなオンラインコンテンツにおけるフェイクニュースや嫌がらせ発言の検出に関する研究を促進すること。

提案手法

• ソーシャルメディアプラットフォームから10,000件のミームを収集し、ヒンディー語-英語のコードミックステキストと画像の組み合わせに焦点を当てた。
• 複数のアノテーターを含む段階的なアノテーションパイプラインを採用し、各ミームについて感情（肯定的、否定的、ニュートラル）と感情（例：怒り、喜び、悲しみ）をラベル付けした。
• アノテーションの信頼性を確保するため、アノテーター間的一致性のチェックとコンSENSUSラベル付けの品質管理措置を適用した。
• 視覚・テキストトランスフォーマーアーキテクチャを用いてデータセット上で微調整したベースラインモデルを開発し、感情と感情分類の両方を同時に行うようにした。
• 多ラベル分類に交差エントロピー損失を使用し、感情分類と感情分類の両タスクにおいてF1スコアを用いて性能を評価した。
• データセットとベースラインコードをリリースし、マルチモーダルで多言語的なNLP分野における再現可能性とさらなる研究を支援した。

実験結果

リサーチクエスチョン

• RQ1 既存のマルチモーダルモデルは、ヒンディー語-英語のコードミックス済みミームにおける感情と感情分類にどの程度効果的か？
• RQ2 NLPモデルにおける単言語とコードミックス済みミーム理解の間には、どの程度の性能格差があるか？
• RQ3 コードミックス済みミームデータにおいて、アノテーター間の一貫性は感情分類の各カテゴリでどのように変動するか？
• RQ4 統合された視覚・テキストモデルは、低リソースで非公式でユーモラスなマルチモーダルコンテンツにおける感情と感情を効果的に捉えられるか？
• RQ5 混合言語と文化的に繊細な表現を含むコードミックス済みミームにおける感情と感情のアノテーションおよびモデリングにおける主な課題は何か？

主な発見

• ベースラインモデルは感情分類で74.3%のF1スコア、感情分類で72.1%のF1スコアを達成し、マルチモーダルなコードミックス理解の実現可能性を示した。
• アノテーター間の一貫性は中程度から高く、感情カテゴリごとに Cohen's Kappa スコアが0.52から0.68の範囲にあり、アノテーション品質の信頼性が裏付けられた。
• データセットは、コードミックス表現における顕著な言語的・文化的なニュアンスを示しており、ミームに頻繁にユーモアや皮肉が含まれていることが明らかになった。
• 特に「恐怖」と「愛」のような感情分類は、アノテーター間の一貫性が低く、感情分類が感情分類よりも困難であることが判明した。
• 感情クラスにわたりバランスの取れた分布があり、肯定的が33.4%、否定的が32.1%、ニュートラルが34.5%の割合を占めていた。
• データセットとベースラインコードのリリースにより、将来的に低リソースで多言語的かつマルチモーダルなNLP分野、特にソーシャルメディアコンテンツモデレーション分野における研究が可能になった。