[論文レビュー] Do Images really do the Talking? Analysing the significance of Images in Tamil Troll meme classification

Siddhanth U Hegde, Adeep Hande+6 more|arXiv (Cornell University)|Aug 9, 2021

Hate Speech and Cyberbullying Detection参考文献 38被引用数 8

ひとこと要約

本研究では、タミル語インターネットミームの視覚的特徴が、トロール対非トロールコンテンツの分類を顕著に向上させるかどうかを調査している。テキストのみ（unimodal）とテキスト＋画像（multimodal）のアプローチを併用したが、特にXLMを微調整したテキスト処理と、クロスアテンションを備えたマルチモーダルトランスフォーマーを用いた。その結果、小規模でテキスト中心のデータセットでは、視覚的特徴が性能向上に寄与しないことが判明した。最高のモデルはXLMで、重み付きF1スコアは0.57を記録したが、マルチモーダルモデルは画像内のテキスト干渉とデータ量の不足により性能を発揮できず、このタスクではテキストのみの分析がより効果的であると示唆された。

ABSTRACT

A meme is an part of media created to share an opinion or emotion across the internet. Due to its popularity, memes have become the new forms of communication on social media. However, due to its nature, they are being used in harmful ways such as trolling and cyberbullying progressively. Various data modelling methods create different possibilities in feature extraction and turning them into beneficial information. The variety of modalities included in data plays a significant part in predicting the results. We try to explore the significance of visual features of images in classifying memes. Memes are a blend of both image and text, where the text is embedded into the image. We try to incorporate the memes as troll and non-trolling memes based on the images and the text on them. However, the images are to be analysed and combined with the text to increase performance. Our work illustrates different textual analysis methods and contrasting multimodal methods ranging from simple merging to cross attention to utilising both worlds' - best visual and textual features. The fine-tuned cross-lingual language model, XLM, performed the best in textual analysis, and the multimodal transformer performs the best in multimodal analysis.

研究の動機と目的

• タミル語のミームから得られる視覚的特徴が、トロールミームの分類に顕著に寄与するかどうかを特定すること。
• ミーム分類における単モーダル（テキストのみ）とマルチモーダル（テキスト＋画像）アプローチを比較すること。
• 低リソース環境における事前学習済みビジョンモデル（例：ResNet, ViT）およびマルチモーダルトランスフォーマーの有効性を評価すること。
• 低リソースでコードミックスされたタミル語データセットにおいて、画像内に埋め込まれたテキストがマルチモーダル学習に与える制限を特定すること。
• 限られたデータを前提としたミーム分類タスクにおいて、マルチモーダル統合が正当化されるかどうか、根拠に基づいた指針を提供すること。

提案手法

• コードミックスされたタミル語ミームのテキスト特徴抽出のため、クロスリンガルXLM-RoBERTaモデルを微調整した。
• ImageNetで事前学習されたビジョンモデル（ResNet, Vision Transformer）を用いて、ミーム画像からの視覚的特徴を抽出した。
• マルチモーダルトランスフォーマーにおいて、テキスト特徴と視覚的特徴を単純な連結、要素ごとの加算、およびクロスアテンション機構を用いて統合した。
• 訓練・検証・テストに分けるために、約1,154件のタミル語IWT（画像付きテキスト）ミームから成るデータセットを用いてモデルを訓練・評価した。
• 小規模データセット上で微調整を適用し、オーバーフィッティングを軽減するためにAdam最適化手法と早期停止法を用いた。
• 誤分類例のエラー解析を実施し、特にテキストが多めの画像による失敗モードを理解した。

実験結果

リサーチクエスチョン

• RQ1 ミームからの視覚的特徴を統合することで、タミル語におけるトロール分類モデルの性能が向上するか？
• RQ2 連結、アテンション、エアリー/レイト統合などの異なるマルチモーダル統合戦略は、単モーダルのテキストのみモデルと比べてどう異なるか？
• RQ3 理論的には優位性があるにもかかわらず、なぜ視覚的特徴が分類に有意義に寄与しないのか？
• RQ4 画像内に埋め込まれたテキストが、事前学習済みモデルによる視覚的特徴抽出にどの程度干渉するか？
• RQ5 低リソースでコードミックスされたミームデータセットにおいて、単モーダルのテキストベース分類がマルチモーダルアプローチを上回る程度はどの程度か？

主な発見

• 単モーダルのXLMモデルが最高の性能を示し、重み付きF1スコアは0.57を記録した。マルチモーダルモデルはすべてを下回った。
• クロスアテンションを備えたマルチモーダルトランスフォーマーは、重み付きF1スコア0.55を達成し、単純な統合手法よりもわずかに向上したにとどまった。
• ImageNetで事前学習されたモデルからの視覚的特徴は、性能向上に顕著な寄与を示さなかった。これは、画像内のテキスト干渉のためと考えられる。
• 多くのテストセット画像には、画像全体にわたってテキストが配置されており、ビジョンモデルがテキストを意味のある視覚的コンテンツではなくノイズとして処理していた。
• 小規模なデータセットサイズ（1,154枚の訓練画像）と、重ね合わされたまたは重複するテキストが含まれる画像コンテンツの高いばらつきが、視覚的特徴の学習を困難にした。
• 特にマルチモーダルトランスフォーマーのような複雑なアーキテクチャでは、データ量の不足とモデル容量の高さにより、オーバーフィッティングが観察された。