[論文レビュー] Exercise? I thought you said 'Extra Fries': Leveraging Sentence Demarcations and Multi-hop Attention for Meme Affect Analysis

Shraman Pramanick, Md Shad Akhtar+1 more|arXiv (Cornell University)|Mar 23, 2021

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本論文では、マルチホップアテンションに基づく深層学習フレームワーク、MHA-Memeを提案する。このフレームワークは、テキスト的セグメントと画像の間の細分化された対応関係を活用し、マルチモーダル・ミーム感情分析を実現する。ユニモodalアテンションとマルチモーダル統合メカニズムを統合することで、SemEval-2020 ミーム感情分析データセットにおいて、感情分類、感情分類、感情定量化の3つのタスクすべてで最先端の性能を達成し、F1スコアで上位コンpetitionシステムを0.5%から2.2%の一貫した向上幅で上回った。

ABSTRACT

Today's Internet is awash in memes as they are humorous, satirical, or ironic which make people laugh. According to a survey, 33% of social media users in age bracket [13-35] send memes every day, whereas more than 50% send every week. Some of these memes spread rapidly within a very short time-frame, and their virality depends on the novelty of their (textual and visual) content. A few of them convey positive messages, such as funny or motivational quotes; while others are meant to mock/hurt someone's feelings through sarcastic or offensive messages. Despite the appealing nature of memes and their rapid emergence on social media, effective analysis of memes has not been adequately attempted to the extent it deserves. In this paper, we attempt to solve the same set of tasks suggested in the SemEval'20-Memotion Analysis competition. We propose a multi-hop attention-based deep neural network framework, called MHA-MEME, whose prime objective is to leverage the spatial-domain correspondence between the visual modality (an image) and various textual segments to extract fine-grained feature representations for classification. We evaluate MHA-MEME on the 'Memotion Analysis' dataset for all three sub-tasks - sentiment classification, affect classification, and affect class quantification. Our comparative study shows sota performances of MHA-MEME for all three tasks compared to the top systems that participated in the competition. Unlike all the baselines which perform inconsistently across all three tasks, MHA-MEME outperforms baselines in all the tasks on average. Moreover, we validate the generalization of MHA-MEME on another set of manually annotated test samples and observe it to be consistent. Finally, we establish the interpretability of MHA-MEME.

研究の動機と目的

• テキスト的モダリティと視覚的モダリティを組み合わせ、文脈依存的な意味を有するミームにおけるマルチモーダル感情分析の課題に対処すること。
• 感情、ユーモア、皮肉、攻撃的表現、動機づけ分類の各タスクにおいて、従来のモデルが一貫性のない性能を示すという限界を克服すること。
• テキスト的セグメントと画像領域の間の細分化された相互作用を捉えることができるフレームワークの開発により、ミームにおける感情理解を向上させること。
• LIMEとアテンション可視化を通じてモデルの解釈可能性を確保し、予測の忠実性と透明性を高めること。
• 感情分類、感情分類、感情定量化の3つのサブタスクにおいて、一貫性があり優れた性能を発揮すること。

提案手法

• ミーム内のフォアグラウンドテキストを明確なフレーズや文に分割し、テキストコンテンツの細分化された分析を可能にする。
• 各テキスト的セグメントから文脈的な表現を抽出するために、マルチホップアテンション機構を適用し、関連する意味的ユニットに焦点を当てる。
• 画像特徴抽出のための別個のマルチホップアテンションモジュールを用い、画像領域からの空間的に注意を向けた表現を学習する。
• テキスト的セグメントと画像特徴の間のクロスモダリティ相互作用を計算する、アテンションベースのマルチモーダル統合モジュールを実装する。
• すべてのテキスト的セグメントにおける強化されたマルチモーダル表現を、最終的なマルチホップアテンションレイヤーを用いて集約し、文脈に適した表現を精緻化する。
• 最終的な統合表現を分類ヘッドに渡し、感情および感情予測タスクのエンドツーエンド学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 マルチホップアテンション機構は、ミームにおけるテキスト的セグメントと画像領域の間の細分化された相互作用を効果的にモデル化できるか？
• RQ2 提案されたMHA-Memeフレームワークは、Memotion Analysisデータセットにおいて、感情分類、感情分類、感情定量化タスクで、従来の最先端モデルを上回る性能を示すか？
• RQ3 MHA-Memeの性能は、感情の各次元（ユーモア、皮肉、攻撃的表現、動機づけ）において、ベースラインシステムと比較して一貫性があるか？
• RQ4 アテンション重みとLIMEベースの説明は、MHA-Memeの予測に対して忠実で解釈可能なインサイトをどの程度提供できるか？
• RQ5 文の区切り処理とマルチモーダルアテンションの統合は、手動でアノテートされた未学習のミームサンプルにおける一般化性能を向上させるか？

主な発見

• MHA-Memeは、SemEval-2020 Memotion Analysis共有タスクの3つのタスクすべてで最先端の性能を達成し、ベースラインシステム比でF1スコアが+0.5%から+2.2%まで向上した。
• モデルは全8つの感情次元において、11のベースラインシステムすべてを上回り、4次元で1位、3次元で2位、1次元で3位を獲得した。
• 感情分類および定量化タスクにおいて、MHA-Memeは、ユーモア、皮肉、攻撃的表現、動機づけという4つの感情タイプすべてにおいて一貫性のある性能を示した。これに対して、ベースラインは一貫性のない結果を示した。
• LIMEベースの説明は、モデルが正しく、顔の笑顔のような顕著な画像領域や、'SMILE'や'MORE'のようなキーワードを、肯定的センチメント予測の主な寄与要因として特定していることを確認した。
• MHA-Memeが可視化したアテンション重みは、LIMEの説明と一致しており、モデルがテキスト内の意味的に関連するトークン（例：'SMILE'）および画像内の対応する顔の特徴に注目していることを示した。
• モデルは公式テストセットを超えた手動でアノテートされたテストサンプルに対しても、一貫性のある性能と解釈可能性を維持して一般化していた。