[論文レビュー] Dual-Gated Fusion with Prefix-Tuning for Multi-Modal Relation Extraction

Qian Li, Shu Guo+4 more|arXiv (Cornell University)|Jun 19, 2023

Natural Language Processing TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、二重ゲート型融合とプレフィックスチューニングを用いてエンティティペア、テキスト、視覚入力間の微細な相関を捉える、DGF-PTと呼ばれる新しいマルチモーダル関係抽出フレームワークを提案する。エンティティ指向およびオブジェクト指向のプレフィックスと二重ゲート型融合モジュールを採用することで、モデルは役立つ視覚的手がかりを効果的に特定・統合し、ノイズや誤解を招く情報は除外する。その結果、特に少サンプル設定において最先端の性能を達成した。

ABSTRACT

Multi-Modal Relation Extraction (MMRE) aims at identifying the relation between two entities in texts that contain visual clues. Rich visual content is valuable for the MMRE task, but existing works cannot well model finer associations among different modalities, failing to capture the truly helpful visual information and thus limiting relation extraction performance. In this paper, we propose a novel MMRE framework to better capture the deeper correlations of text, entity pair, and image/objects, so as to mine more helpful information for the task, termed as DGF-PT. We first propose a prompt-based autoregressive encoder, which builds the associations of intra-modal and inter-modal features related to the task, respectively by entity-oriented and object-oriented prefixes. To better integrate helpful visual information, we design a dual-gated fusion module to distinguish the importance of image/objects and further enrich text representations. In addition, a generative decoder is introduced with entity type restriction on relations, better filtering out candidates. Extensive experiments conducted on the benchmark dataset show that our approach achieves excellent performance compared to strong competitors, even in the few-shot situation.

研究の動機と目的

• マルチモーダル関係抽出（MMRE）におけるノイズが多く役立たない視覚的入力の課題に対処すること。これによりモデルの性能が低下するおそれがある。
• エンティティペア、テキスト、視覚的オブジェクトの間のより微細な関連性をモデル化し、関係予測を改善すること。
• 役立つ視覚的コンテンツと関係のない、または誤解を招く視覚的信号を効果的に区別する手法を開発すること。
• プロンプトベース学習と構造的統合を活用することで、リソースが限られた（少サンプルの）状況での性能を向上させること。
• エンティティタイプ制約を用いて関係候補の生成を制限することで、フィルタリングと正確性を向上させること。

提案手法

• エンティティ内およびエンティティ間の関連性をモデル化するため、エンティティ指向とオブジェクト指向の2種類の異なるプレフィックスを備えた、プロンプトベースの自己回帰的エンコーダーを導入する。
• 局所的オブジェクト重要度ゲートとグローバル画像関連性ゲートを備えた二重ゲート型融合モジュールを採用し、関連性に基づいて視覚的特徴を動的に重み付け統合する。
• エンティティタイプ情報を用いて関係候補を制限する生成型デコーダーを設計し、予測の正確性を向上させる。
• 統合前の表現分布と統合後の分布を一致させるための共同目的関数を適用し、特徴の一貫性とモデルの頑健性を向上させる。
• 完全な微調整なしに大規模言語モデルを効率的に適応できるプレフィックスチューニングを活用し、少サンプル一般化を支援する。
• タスクに適応した方法で、オブジェクト検出と画像特徴から得られる視覚的関係情報を活用し、テキスト表現を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル関係抽出において、エンティティペア、テキスト、視覚的オブジェクト間のより深い相関関係をどのように効果的にモデル化できるか？
• RQ2 二重ゲート型融合機構は、役立たないまたは誤解を招く視覚的特徴の選択を改善できるか？
• RQ3 プレフィックスチューニングは、リソースが限られた（少サンプルの）関係抽出シナリオにおいて、どの程度性能を向上させるか？
• RQ4 エンティティタイプを考慮したデコーディングは、関係候補のフィルタリングと予測正確性をどの程度向上させるか？
• RQ5 プレフィックスチューニングを用いて、モード内およびモード間の関連性を統合することで、MMREにおける一般化性と頑健性が向上するか？

主な発見

• DGF-PTはベンチマークであるMNREデータセットにおいて最先端の性能を達成し、フルショットおよび少サンプル設定の両方で強力なベースラインを上回った。
• リソースが限られた状況でも優れた一般化性能を示し、データ量が減少するにつれて一貫した性能向上を示した。
• 二重ゲート型融合機構は、役立たない視覚的コンテンツを効果的にフィルタリングし、ノイズの多い画像が予測に与える悪影響を低減した。
• 事例研究により、DGF-PTは同じ画像を異なるエンティティペアで使用しても、適切な視覚的手がかりを正しく特定していることが確認された。
• エンティティタイプ制限付きデコーディングの活用により、曖昧な関係に対する誤った予測が顕著に減少した。
• モデルの性能は視覚的データの増加に伴い向上し、プレフィックスベースのベースラインと比較して視覚的特徴を効果的に活用していることが示された。