[論文レビュー] UVCE-IIITT@DravidianLangTech-EACL2021: Tamil Troll Meme Classification: You need to Pay more Attention

Siddhanth U Hegde, Adeep Hande+3 more|arXiv (Cornell University)|Apr 19, 2021

Humor Studies and Applications参考文献 10被引用数 21

ひとこと要約

本論文では、視覚的特徴とテキスト的特徴を組み合わせたマルチモーダルトランスフォーマー型モデルを提案し、タミル語のネットミームをトゥルールまたはノントゥルールに二値分類する。視覚的特徴とテキスト的特徴はラテント相互作用により統合され、検証セットではF1スコア0.96を達成したが、データ分布のズレと画像内のテキスト配置バイアスの影響により、テストセットでは著しい性能低下（F1=0.46）を示した。

ABSTRACT

Tamil is a Dravidian language that is commonly used and spoken in the southern part of Asia. In the era of social media, memes have been a fun moment in the day-to-day life of people. Here, we try to analyze the true meaning of Tamil memes by categorizing them as troll and non-troll. We propose an ingenious model comprising of a transformer-transformer architecture that tries to attain state-of-the-art by using attention as its main component. The dataset consists of troll and non-troll images with their captions as text. The task is a binary classification task. The objective of the model is to pay more attention to the extracted features and to ignore the noise in both images and text.

研究の動機と目的

• マルチリンガルかつマルチモーダルなソーシャルメディア環境下で、タミル語のインターネットミームをトゥルールまたはノントゥルールに分類する課題に対処すること。
• 嫌がらせや皮肉を含む発言が差別の的または誤情報的コンテンツを拡散する可能性があるミームにおける、攻撃的または皮肉的なコンテンツを自動で検出する堅牢なシステムの開発。
• 低リソースなドゥラヴィダ語圏言語のミーム分類において、視覚的特徴とテキスト的特徴のトランスフォーマーを組み合わせる有効性の調査。
• 特に、画像内の埋め込みテキストを除去するためのセンタークロッピングを含む画像前処理が、モデルの一般化性能および性能に与える影響の分析。

提案手法

• ImageNetの予訓練とImageNet統計に基づく正規化を施した後、テキストを除去するためのセンタークロッピングを施した224×224にリサイズされたタミル語ミーム画像に対して、Vision Transformer (ViT) を微調整。
• ストップワード、句読点、特殊文字を除去した後、トークン化し、mBERT (base-multilingual-cased) に供給して文脈的埋め込みを取得。
• ViTとmBERTのプールド出力を256次元の統合層で連結し、ReLU活性化関数とドロップアウトを用いて正則化。
• 二値分類（トゥルール／ノントゥルール）のための最終分類ヘッドを、交差エントロピー損失関数と線形のウォームアップスケジュールを用いて学習。
• バッチサイズを16、微調整率を2e-5、4エポックで学習し、キャプションの入力シーケンス長は128トークンまで制限。
• 画像の意味を保つためにデータオーグメンテーションを適用せず、全2,699枚のミームという小規模なデータセットの特性を考慮。

実験結果

リサーチクエスチョン

• RQ1 ViTとmBERTを組み合わせたマルチモーダルトランスフォーマーのアーキテクチャが、タミル語のミームをトゥルールまたはノントゥルールに効果的に分類できるか。
• RQ2 センタークロッピングによる埋め込みテキストの除去が、視覚ベースのミーム分類モデルの性能にどのように影響するか。
• RQ3 なぜモデルは検証セットでは高い性能を示すが、テストセットでは顕著に低い性能を示すのか。
• RQ4 視覚的特徴とテキスト的特徴をラテント相互作用で統合することで、単一のモodalitに比べて分類性能がどの程度向上するか。
• RQ5 画像レイアウト（例：テキストの配置）の分布シフトが、ViTベースのモデルの未学習のミームデータに対する一般化性能に与える影響はどの程度か。

主な発見

• ViTによる画像特徴のみを用いた場合、検証セットでF1スコア0.96を達成し、検証分割における優れた性能を示した。
• mBERTによるキャプションのみの分類では、F1スコア0.93を達成し、テキスト的コンテンツそのものが非常に有用であることが示された。
• 検証セットとは対照的に、テストセットではF1スコアがわずか0.46にまで低下し、著しい性能低下を示した。
• 検証セットとテストセットの性能差は、特に画像内でのテキストの配置や存在の違いに起因する分布シフトに起因するとされた。
• テキストを除去するためのセンタークロッピングは検証性能を向上させたが、テストセットに含まれるより複雑なまたは異なる配置のテキストを考慮すると、一般化性能を損なう可能性があった。
• ViTとmBERTの特徴をラテント相互作用で統合することで性能の低下はなく、検証精度の高さに貢献した可能性があるが、過学習の完全な是正には至らなかった。