[論文レビュー] On Analyzing the Role of Image for Visual-enhanced Relation Extraction

Lei Li, Xiang Chen+4 more|arXiv (Cornell University)|Nov 14, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、トランスフォーマーに基づくデュアルストリームアーキテクチャを用いて、暗黙的で微細なマルチモーダルアライメントを実現する、視覚的強化関係抽出のための強力なベースライン、IFAformerを提案する。生の画像と検出された視覚的オブジェクトに加えてテキストを活用することで、MNREで92.38%の精度と81.67%のF1スコアを達成し、MEGAなどの最先端手法を顕著に上回り、視覚的情報が適切にアライメントされない限り効果的に活用されないことが示された。

ABSTRACT

Multimodal relation extraction is an essential task for knowledge graph construction. In this paper, we take an in-depth empirical analysis that indicates the inaccurate information in the visual scene graph leads to poor modal alignment weights, further degrading performance. Moreover, the visual shuffle experiments illustrate that the current approaches may not take full advantage of visual information. Based on the above observation, we further propose a strong baseline with an implicit fine-grained multimodal alignment based on Transformer for multimodal relation extraction. Experimental results demonstrate the better performance of our method. Codes are available at https://github.com/zjunlp/DeepKE/tree/main/example/re/multimodal.

研究の動機と目的

• 現在の視覚的強化関係抽出（MRE）手法が、正確な視覚的情報を効果的に活用できない限界を調査すること。
• 不正確な視覚的シーングラフと粗い粒度のアライメントがモデル性能を低下させることを特定すること。
• 暗黙的で微細なクロスマodalアテンションを通じてマルチモーダルアライメントを向上させる、堅牢なベースライン、IFAformerを提案すること。
• 視覚的情報が適切にテキストエンティティとアライメントされていなければ、効果が得られないことを検証すること。

提案手法

• 生の画像とテキストを別々に処理するデュアルストリームトランスフォーマーインクリメントを用い、視覚的特徴はオブジェクト検出と視覚的グランドイングから得る。
• 各層で視覚的およびテキスト的表現間のクロスアテンションを適用することで、暗黙的で微細なアライメントを可能にする。
• 学習可能な投影行列を用いて、テキストおよび視覚的エンコーダーからの隠れ状態をクエリ、キー、バリューのベクトルに変換する。
• クロスアテンションを実行し、視覚的クエリが視覚的およびテキスト的キーとバリューに注目し、逆にテキスト的クエリが視覚的およびテキスト的キーとバリューに注目することで、統合的表現学習を実現する。
• 最終的なテキスト表現を用いて関係分類を実行し、エンドツーエンドの学習を実装する。
• アライメント精度を向上させるために、微細な視覚的オブジェクトを追加入力として組み込む。

実験結果

リサーチクエスチョン

• RQ1 視覚的入力が使用されているにもかかわらず、なぜ現在のMREのパフォーマンスが頭打ちになるのか？
• RQ2 不正確な視覚的シーングラフが、効果的な視覚的・テキスト的アライメントを妨げる程度はどの程度か？
• RQ3 明示的なシーングラフ依存性を避けることで、より良いパフォーマンスが達成可能か？
• RQ4 微細な視覚的オブジェクト検出は、MREパフォーマンスの向上にとってどれほど重要か？
• RQ5 モデルは本当に視覚的情報に依存しているのか、それとも誤った相関関係を学習しているのか？

主な発見

• MEGAモデルは、画像・テキストペアをシャッフルしても安定したパフォーマンスを維持しており、視覚的ガイドラインを効果的に活用していない可能性を示唆している。
• 視覚的シーングラフには、誤ったアライメント重みを生じる可能性のある誤解を招くまたは重複するオブジェクト（例：'man'、'shirt'、'wire'）が頻出する。
• IFAformerはMNREで92.38%の精度と81.67%のF1スコアを達成し、MEGAを15.26%のF1スコア上回った。
• 訓練時に画像・テキストペアをシャッフルした場合、IFAformerのパフォーマンスは74.23%の精度に低下し、正しい視覚入力に依存していることを確認した。
• 視覚的エンコーダーにおけるテキスト的アテンションを削除するとパフォーマンスが低下し、マルチモーダル統合が不可欠であることが示された。
• 微細な視覚的オブジェクトを組み込むことで、ベースラインIFAformerに比べてパフォーマンスが4.63%向上し、その重要性が浮き彫りになった。