[論文レビュー] Cross-media Structured Common Space for Multimedia Event Extraction

Manling Li, Alireza Zareian+5 more|arXiv (Cornell University)|May 5, 2020

Multimodal Machine Learning Applications参考文献 65被引用数 8

ひとこと要約

本論文は、テキストと画像からイベントとその引数を共同で抽出するための新規タスクであるMultiMedia Event Extraction (M2E2)を紹介する。弱い教師信号を用いて、複数モodal間で共通の意味的空間を学習するグラフベースの手法であるWeakly Aligned Structured Embedding (WASE)を提案し、最先端の単一モダリティ手法よりもFスコアで9.8%高い性能を達成するとともに、視覚的情報を活用することで21.4%多くのイベントの表出を抽出した。

ABSTRACT

We introduce a new task, MultiMedia Event Extraction (M2E2), which aims to extract events and their arguments from multimedia documents. We develop the first benchmark and collect a dataset of 245 multimedia news articles with extensively annotated events and arguments. We propose a novel method, Weakly Aligned Structured Embedding (WASE), that encodes structured representations of semantic information from textual and visual data into a common embedding space. The structures are aligned across modalities by employing a weakly supervised training strategy, which enables exploiting available resources without explicit cross-media annotation. Compared to uni-modal state-of-the-art methods, our approach achieves 4.0% and 9.8% absolute F-score gains on text event argument role labeling and visual event extraction. Compared to state-of-the-art multimedia unstructured representations, we achieve 8.3% and 5.0% absolute F-score gains on multimedia event extraction and argument role labeling, respectively. By utilizing images, we extract 21.4% more event mentions than traditional text-only methods.

研究の動機と目的

• マルチモーダルニュースにおける統合的イベント抽出のギャップを埋めるために、テキストおよび視覚的情報からのイベントと引数の抽出を統合する新しいタスク、MultiMedia Event Extraction (M2E2)を提案すること。
• クロスメディアのアノテート済みデータの不足を克服するため、既存の単一モダリティのアノテーションと画像キャプションペアを活用する弱い教師付き学習フレームワークを開発すること。
• 明示的なクロスメディアアノテーションを必要とせずに、複数モダリティ間での統合推論を可能にし、現実世界のマルチメディア環境におけるロバストネスとスケーラビリティを向上させること。
• グラフベースのニューラルネットワークを用いて、共有埋め込み空間に意味的関係をエンコードすることで、複雑なイベント構造と引数役割をモデル化すること。
• 平坦な埋め込みを超えて、全体的なイベント意味を捉える構造的マルチメディア表現の有効性を示し、特に引数の局在化とコアリソリューションにおいて優れた性能を発揮すること。

提案手法

• 各文書および画像に対して、イベントやエンティティをノードとし、引数役割をエッジとするグラフ表現を構築することで、イベント意味の構造的モデリングを可能にする。
• 独立にアノテートされたテキストおよび視覚的イベントデータセットに加え、画像キャプションペアを用いる弱い教師付き学習戦略を採用し、クロスメディアアノテーションを必要とせずにモダリティを統合する。
• ノードおよびエッジの埋め込みを学習することで、マルチメディア共通の意味的空間を獲得し、イベントコアリソリューションを解決するとともに、画像と関連する文書を一致させる。
• アテンションメカニズムを用いて、トレーニング時にボクシングボックスのアノテーションがなくても、関連する視覚的領域に注目することで、画像内の引数インスタンスを局在化する。
• グラフニューラルネットワークを用いて、ノードおよびエッジ間で埋め込みを伝搬・精錬し、テキストおよび視覚的イベント表現における関係的構造を捉える。
• 複数のソースおよびドメインからの異種データをエンドツーエンドで学習することで、新しいイベントタイプおよびモダリティへの転送可能性とスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 明示的なクロスメディアアノテーションを必要とせずに、弱い教師付きフレームワークがテキストおよび視覚的イベント表現を効果的に統合できるか？
• RQ2 イベント構造をグラフとしてモデル化することで、平坦な表現学習と比較してマルチメディアイベント抽出にどのような向上効果をもたらすか？
• RQ3 テキストのみの手法に比べて、視覚的情報がマルチメディアニュースにおけるイベント表出検出をどの程度向上できるか？
• RQ4 トレーニング時にボクシングボックスアノテーションがなくても、画像内での引数局在化が効果的に実現可能か？
• RQ5 提案された構造的共通空間は、多様なデータソース、ドメイン、イベントタイプにわたってどの程度一般化可能か？

主な発見

• 提案されたWASE手法は、最先端の単一モダリティ手法と比較して、テキストベースのイベント引数役割ラベル付けでFスコアが9.8%絶対値で向上した。
• WASEは、最良の単一モダリティベースラインと比較して、視覚的イベント抽出でFスコアが4.0%絶対値で向上した。
• マルチメディアの平坦な表現学習手法と比較して、WASEはマルチメディアイベント抽出で8.3%、引数役割ラベル付けで5.0%のFスコア向上を達成した。
• 視覚的情報を統合することで、モデルはテキストのみのベースラインと比較して21.4%多くのイベント表出を抽出した。これはマルチモーダル信号の価値を示している。
• アテンションメカニズムを用いて、ボクシングボックスの監督がなくても画像内の引数を効果的に局在化できたが、複数の候補が存在する場合には注目が散逸する可能性がある。
• 異種で多様なデータソースを用いた実験から、フレームワークの高いスケーラビリティとドメインおよびモダリティ間での転送性が明確に示された。