[論文レビュー] BLUE at Memotion 2.0 2022: You have my Image, my Text and my Transformer

Ana-Maria Bucur, Adrian Cosma+1 more|arXiv (Cornell University)|Feb 15, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本論文は、MEMOTION 2.0 2022 共同タスクにおけるチーム BLUE の優勝アプローチを提示する。テキストのみを対象とした BERT ベースの手法と、画像とテキスト特徴を統合するマルチモーダル・マルチタスク（MMT）トランスフォーマーモデルを提案する。CLIP および CORAL を用いて順序回帰を最適化した MMT モデルは、感情分析で1位（F1=0.5318）、ユーモア検出で2位（F1=0.8059）、皮肉・攻撃的表現検出で3位を達成し、全タスクで最高の平均スコアを記録した。

ABSTRACT

Memes are prevalent on the internet and continue to grow and evolve alongside our culture. An automatic understanding of memes propagating on the internet can shed light on the general sentiment and cultural attitudes of people. In this work, we present team BLUE's solution for the second edition of the MEMOTION shared task. We showcase two approaches for meme classification (i.e. sentiment, humour, offensive, sarcasm and motivation levels) using a text-only method using BERT, and a Multi-Modal-Multi-Task transformer network that operates on both the meme image and its caption to output the final scores. In both approaches, we leverage state-of-the-art pretrained models for text (BERT, Sentence Transformer) and image processing (EfficientNetV4, CLIP). Through our efforts, we obtain first place in task A, second place in task B and third place in task C. In addition, our team obtained the highest average score for all three tasks.

研究の動機と目的

• 感情、ユーモア、皮肉、攻撃的表現、動機づけの分野における微細な meme 分類のための堅牢なマルチモーダルモデルの開発。
• 最先端の事前学習済みモデルを用いて、テキストと視覚的特徴を統合する有効性の調査。
• 異なるモダリティの組み合わせや特徴抽出器（例：CLIP、EfficientNetV4）が分類性能に与える影響の評価。
• CORAL を用いたドメイン適応を用いて、ユーモアや皮肉の感情強度予測における順序回帰の課題に取り組む。
• 自己教師付き事前学習と語彙正規化を用いて、ノイズが多く不均衡な meme データセットにおける汎化性能の向上。

提案手法

• memes から抽出したテキストキャプションに対して、BERT および Sentence Transformers を微調整し、テキストのみの分類を実行。
• EfficientNetV4 および BERT から得られる画像およびテキスト埋め込みを統合して処理するマルチモーダル・マルチタスク（MMT）トランスフォーマーを設計。
• マルチモーダル表現学習の向上を図るため、CLIP 特徴を追加の視覚的エンコーダーとして統合。
• 感情の強度レベル（例：ユーモア、皮肉）の順序回帰をモデル化するため、CORAL（ドメイン適応）を適用。
• モダリティの組み合わせ（テキストのみ、画像のみ、CLIPのみ、統合）を変えてアブレーションスタディを実施し、特徴の寄与度を評価。
• 全タスクで主に重み付き F1 スコアを指標とし、最終提出のためのモデルアンサンブルとハイパーパramータチューニングを実施。

実験結果

リサーチクエスチョン

• RQ1 テキストのみの BERT ベース手法とマルチモーダルモデルの間で、meme の感情や感情の分類性能にどのような差が生じるか？
• RQ2 画像、テキスト、CLIP 特徴が、さまざまな meme 分類タスクにおいてそれぞれどのように性能に寄与しているか？
• RQ3 CORAL を用いたドメイン適応は、meme における感情強度の順序回帰性能を向上させることができるか？
• RQ4 すべての meme 感情タスクに一般化可能な最適なモダリティの組み合わせが存在するのか、それともタスクごとに性能が異なるのか？
• RQ5 自己教師付き事前学習と語彙正規化は、ノイズが多く不均衡な meme データセットにおけるロバストネスをどのように向上させるか？

主な発見

• 画像・テキスト・CLIP 特徴を統合した MMT トランスフォーマーが、全3タスクで平均 F1 スコア 0.6273 を達成し、他チームを上回った。
• テキストのみの BERT モデルは、ユーモア検出で2位（F1=0.7743）を記録し、ユーモアおよび攻撃的表現タスクで最も優れた性能を示した。
• 感情分析では、MMT モデルが1位（F1=0.5318）を達成し、テキストのみのモデル（F1=0.5072）を上回った。
• 皮肉および攻撃的表現タスクでは、MMT モデルがテキストのみのモデルを著しく上回り、それぞれ F1 スコア 0.8191 および 0.5581 を達成した。
• アブレーションスタディの結果、モダリティの組み合わせによる性能差は最小限に抑えられており、CLIP および画像特徴が一貫してわずかな向上をもたらしていることが示された。
• チームは全3タスクで最高の平均スコアを記録し、MMT アプローチのロバストネスと汎化性能を実証した。