[論文レビュー] CLIP-Event: Connecting Text and Images with Event Structures

Manling Li, Ruochen Xu+7 more|arXiv (Cornell University)|Jan 13, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

CLIP-Event は、テキスト情報抽出とプロンプト工学を用いてハードネガティブ例を生成することで、イベント構造（イベントタイプと引数役割）を統合した対照学習フレームワークを提案する。この手法は、マルチメディアイベント理解において最先端のゼロショット性能を達成し、イベント抽出のFスコアで先行モデルを5%以上上回り、多様な下流タスクにおいて顕著な向上を示す。

ABSTRACT

Vision-language (V+L) pretraining models have achieved great success in supporting multimedia applications by understanding the alignments between images and text. While existing vision-language pretraining models primarily focus on understanding objects in images or entities in text, they often ignore the alignment at the level of events and their argument structures. In this work, we propose a contrastive learning framework to enforce vision-language pretraining models to comprehend events and associated argument (participant) roles. To achieve this, we take advantage of text information extraction technologies to obtain event structural knowledge, and utilize multiple prompt functions to contrast difficult negative descriptions by manipulating event structures. We also design an event graph alignment loss based on optimal transport to capture event argument structures. In addition, we collect a large event-rich dataset (106,875 images) for pretraining, which provides a more challenging image retrieval benchmark to assess the understanding of complicated lengthy sentences. Experiments show that our zero-shot CLIP-Event outperforms the state-of-the-art supervised model in argument extraction on Multimedia Event Extraction, achieving more than 5% absolute F-score gain in event extraction, as well as significant improvements on a variety of downstream tasks under zero-shot settings.

研究の動機と目的

• 画像とテキストにおけるイベントレベルの意味論および引数役割構造を無視するビジョン・ランゲージ事前学習モデルのギャップを埋める。
• キャプション付きニュースデータからの遠隔監視を活用して、ゼロショットマルチメディアイベント理解を向上させる。
• 自己教師付き対照学習を用いて、未学習のイベントタイプおよび引数役割の認識を強力に可能にする。
• 最適輸送を用いて、ビジョンとランゲージモダリティ間のイベント引数構造の整合性を明示的にモデル化する。

提案手法

• 画像キャプションからイベントタイプ、トリガー、引数役割を自動抽出するテキスト情報抽出ツールを活用し、弱い監視として利用する。
• 多様なプロンプト関数を用いて、イベント構造（例：引数役割の入れ替えやイベントタイプの変更）を操作することで、ハードネガティブ記述を生成する。
• 画像特徴量とイベントに配慮したテキスト記述の間で対照学習の目的関数を最適化し、ビジョンとランゲージ表現の整合性を図る。
• 画像のオブジェクトとテキストのエンティティおよびその引数役割からイベントグラフを構築し、最適輸送を用いてこれらグラフをグローバルに整合させ、詳細な構造転送を実現する。
• 画像・テキストの整合性とイベントグラフの整合性を統合したランク付けメカニズムを下流タスクに統合する。
• 複雑で長文の文の理解を支援するため、ニュースソースから得た106,875枚の画像から構成される大規模かつイベント豊富なデータセットで事前学習を行う。

実験結果

リサーチクエスチョン

• RQ1 ビジョン・ランゲージモデルは、オブジェクトやエンティティ認識を超えて、イベントレベルの意味論をどのように向上させられるか？
• RQ2 自己教師付き対照学習を用いて、テキストから得たイベント構造知識（イベントタイプと引数役割）をビジョンに効果的に転送できるか？
• RQ3 未学習のイベントタイプや役割に対し、モデルはどの程度ゼロショットでのイベント抽出および引数役割認識に一般化できるか？
• RQ4 最適輸送を用いた明示的なイベントグラフ整合性が、複雑なイベント構造のマルチモーダル理解をどの程度向上させるか？
• RQ5 イベント構造知識の統合は、グラウンデッドシチュエーション認識やビジュアルコモンセンス推論などの下流ビジョン・ランゲージタスクで優れたパフォーマンスをもたらすか？

主な発見

• CLIP-Event は、マルチメディアイベント抽出ベンチマークにおいて、最も強力な教師ありベースラインを5.1%の絶対的Fスコア向上で上回った。
• VOANewsデータセットにおいて、CLIPがニュースデータで事前学習したバージョンと比較して、R@1で3.7%、R@5で2.1%の画像検索性能向上を達成した。
• アブレーションスタディの結果、最適輸送を削除するとVOANewsのR@1が2.0%低下し、構造整合性にその重要性が確認された。
• CLIPおよびニュースデータで事前学習したCLIPと比較して、CLIP-Event はVCRやVisualCOMETを含むすべての評価ベンチマークでゼロショット設定下で優れた性能を示した。
• モデルはオープンワールドのイベントに対しても強力な一般化性能を示し、自然言語記述のみを用いて、以前に見られなかったタイプや役割のイベント構造を正しく認識できた。
• イベントタイプの分布分析から、抽出されたイベントは主に視覚的に検出可能であることが確認され、実世界のマルチメディアアプリケーションにおけるトレーニングデータの妥当性が裏付けられた。