[論文レビュー] Towards Multi-Modal Sarcasm Detection via Hierarchical Congruity Modeling with Knowledge Enhancement

Hui Liu, Wenya Wang+1 more|arXiv (Cornell University)|Oct 7, 2022

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本論文は、マルチヘッドクロスアテンションとグラフニューラルネットワークを用いて、原子レベルの整合性（トークン-画像パッチ整合性）と構成レベルの整合性（フレーズ-オブジェクト関係整合性）の両方をモデル化する階層的マルチモーダル皮肉検出フレームワークを提案する。さらに、特にCLIPおよびGPT-2を用いて生成された画像キャプションを含む外部知識を統合することで、パブリックなTwitterベースの皮肉検出ベンチマークで最先端の結果を達成する。

ABSTRACT

Sarcasm is a linguistic phenomenon indicating a discrepancy between literal meanings and implied intentions. Due to its sophisticated nature, it is usually challenging to be detected from the text itself. As a result, multi-modal sarcasm detection has received more attention in both academia and industries. However, most existing techniques only modeled the atomic-level inconsistencies between the text input and its accompanying image, ignoring more complex compositions for both modalities. Moreover, they neglected the rich information contained in external knowledge, e.g., image captions. In this paper, we propose a novel hierarchical framework for sarcasm detection by exploring both the atomic-level congruity based on multi-head cross attention mechanism and the composition-level congruity based on graph neural networks, where a post with low congruity can be identified as sarcasm. In addition, we exploit the effect of various knowledge resources for sarcasm detection. Evaluation results on a public multi-modal sarcasm detection dataset based on Twitter demonstrate the superiority of our proposed model.

研究の動機と目的

• 既存のマルチモーダル皮肉検出手法が原子レベルのトークン-パッチ整合性にのみ注目し、構成的意味的不整合を無視するという限界を是正すること。
• テキストおよび視覚モダリティの両方の構造的意味を捉えるために、グラフベースの構造を用いて原子レベルおよび構成レベルの整合性をモデリングすることで、皮肉検出を向上させること。
• 外部知識、特に画像キャプションが、生の画像およびテキスト入力にとどまらず、皮肉検出をどのように向上させるかを調査すること。
• マルチスケールの整合性と知識強化表現を統合的に活用する包括的なフレームワークを構築すること。

提案手法

• マルチヘッドクロスアテンションを用いて、個々のテキストトークンと画像パッチ間の類似度スコアを計算し、原子レベルの整合性をモデリングする。
• テキストの依存関係グラフと視覚的空間的関係グラフを構築し、両モダリティにおける構成的意味を捉える。
• グラフアテンションネットワーク（GAT）を適用して文脈に適した表現を学習し、フレーズ-オブジェクト関係のモデリングを可能にする。
• CLIPおよびGPT-2を用いて画像から記述キャプションを生成し、それらを整合性モデリングの補助信号として外部知識として統合する。
• 原子レベルおよび構成レベルの整合性特徴を連結して、皮肉分類のための統一された表現を形成する。
• 階層的アーキテクチャを採用し、高レベルのグラフベースの推論によって低レベルの整合性を精緻化することで、複雑な意味的不整合を検出する。

実験結果

リサーチクエスチョン

• RQ1 原子レベルと構成レベルの両方の整合性をモデリングすることで、単一スケールのアプローチに比べてマルチモーダル皮肉検出が向上するか？
• RQ2 視覚的およびテキスト的入力に意味的不整合がある場合、特に画像キャプションのような外部知識は、皮肉検出をどの程度向上させるか？
• RQ3 事前学習済みのビジョン・ランゲージモデル（例：CLIP）および言語モデル（例：GPT-2）の統合は、皮肉検出の解釈可能性およびロバストネスを向上させるか？
• RQ4 意味的および空間的依存関係のグラフベースモデリングは、複雑な皮肉パターンの検出をどの程度向上させるか？

主な発見

• 提案モデルは、パブリックなTwitterベースのマルチモーダル皮肉検出データセットで最先端のパフォーマンスを達成し、既存手法を上回る。
• CLIPおよびGPT-2を用いて生成された画像キャプションの統合により、とくに微細なまたは比喩的皮肉のケースで検出精度が顕著に向上する。
• 整合性スコアの可視化により、構成レベルモジュールが不一致領域（例：嵐の画像に映った家具）を効果的に低減していることが確認され、原子アテンションをはるかに超える精緻な検出が可能である。
• 階層的モデリングアプローチは、フレーズと複数の画像パッチの間の矛盾といった複雑な不整合を効果的に同定でき、単一スケールモデルでは見逃される事例を特定するのに成功した。
• 知識強化表現のおかげで、画像に曖昧なまたは低レベルの視覚的手がかりがある場合でも、皮肉検出のロバストネスが保証されている。
• アブレーションスタディの結果、画像キャプションによる知識強化は、視覚特徴だけでは不十分なケースにおいても一貫したパフォーマンス向上をもたらすことが示された。