[論文レビュー] Knowledge Graph Completion with Pre-trained Multimodal Transformer and Twins Negative Sampling

Yichi Zhang, Wen Zhang|arXiv (Cornell University)|Sep 15, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、微調整を伴わずに深層マルチモーダル特徴を抽出できるVisualBERTを活用する埋め込みベースの知識グラフ補完モデルVBKGCを提案する。このモデルは、構造的およびマルチモーダルなエンティティ埋め込みの整合性を高めるためにツインズネガティブサンプリングを導入し、特にWN9データセットにおいて、すべての指標で既存のベースラインを上回るリンク予測性能を実現する。

ABSTRACT

Knowledge graphs (KGs) that modelings the world knowledge as structural triples are inevitably incomplete. Such problems still exist for multimodal knowledge graphs (MMKGs). Thus, knowledge graph completion (KGC) is of great importance to predict the missing triples in the existing KGs. As for the existing KGC methods, embedding-based methods rely on manual design to leverage multimodal information while finetune-based approaches are not superior to embedding-based methods in link prediction. To address these problems, we propose a VisualBERT-enhanced Knowledge Graph Completion model (VBKGC for short). VBKGC could capture deeply fused multimodal information for entities and integrate them into the KGC model. Besides, we achieve the co-design of the KGC model and negative sampling by designing a new negative sampling strategy called twins negative sampling. Twins negative sampling is suitable for multimodal scenarios and could align different embeddings for entities. We conduct extensive experiments to show the outstanding performance of VBKGC on the link prediction task and make further exploration of VBKGC.

研究の動機と目的

• 既存の知識グラフ補完手法がマルチモーダル情報を効果的に活用できないという限界を解消すること。
• マルチモーダル知識グラフ補完において、微調整ベースのモデルの遅い推論速度と最適でない性能を克服すること。
• モデルアーキテクチャとネガティブサンプリング戦略を共同で設計し、構造的およびマルチモーダルな埋め込みの整合性を向上させること。
• 手動による特徴統合の設計を回避する包括的でエンドツーエンドのアプローチを構築すること。
• ツインズネガティブサンプリングが、異なる埋め込み空間の整合性を高めることでマルチモーダルな状況における性能向上を実証すること。

提案手法

• VBKGCは、微調整を伴わずにエンティティの統合的マルチモーダル特徴を抽出するために、事前学習済みのマルチモーダルトランスフォーマーエンコーダーとしてVisualBERTを採用する。
• モデルは、$τ_{ss}$、$τ_{mm}$、$τ_{sm}$、$τ_{ms}$ の複数のコンポonentから成るスコア関数を用い、構造的、マルチモーダル的、クロスモーダルな相互作用を捉える。
• ツインズネガティブサンプリングは、異なるモダリティからの埋め込みをペアリングすることでネガティブサンプルを生成する共同設計されたトレーニング戦略として導入される。
• 特にマルチモーダルな設定において有効であるように、エンティティレベルのネガティブサンプリングを避けて、埋め込みレベルの整合性に焦点を当てる。
• マージンベースの損失関数を用いたネガティブサンプリングによる学習で、ツインズネガティブサンプリングがマルチモーダルおよび構造的表現の対照的学習を強化する。
• 凍結されたVisualBERTと軽量なスコア関数を用いるため、推論は高速であり、従来の埋め込みモデルと同等の速さを実現する。

実験結果

リサーチクエスチョン

• RQ1 微調整なしで、VisualBERTのような事前学習済みマルチモーダルトランスフォーマが、知識グラフ内のエンティティに対して統合的マルチモーダル表現を効果的に抽出できるか。
• RQ2 新規のネガティブサンプリング戦略とモデルを共同で設計することで、マルチモーダル知識グラフ補完におけるリンク予測性能が向上するか。
• RQ3 ツインズネガティブサンプリングは、異なるデータセットにおいて、構造的およびマルチモーダルな埋め込みの整合性を標準的なネガティブサンプリングと比較してどのように向上させるか。
• RQ4 ネガティブサンプルの数が、異なるマルチモーダルKG設定におけるツインズネガティブサンプリングの性能に与える影響は何か。
• RQ5 VBKGCは、埋め込みベースおよび微調整ベースのベースラインと比較して、推論速度と精度のバランスをどのようにとっているか。

主な発見

• VBKGCはWN9データセットで最先端の性能を達成し、MRRが0.299、Hit@10が0.477、Hit@3が0.331、Hit@1が0.210を記録し、すべての指標で既存のベースラインを上回る。
• FB15K-237データセットではMRRが0.299を達成し、高いネガティブサンプル数でのツインズネガティブサンプリングの効果が限定的であっても、優れた一般化性能を示す。
• WN9ではツインズネガティブサンプリングが顕著に性能を向上させ、低数のネガティブサンプル（$k=1$）でも通常のネガティブサンプリングを上回り、効果的な埋め込み整合性が裏付けられる。
• アブレーションスタディにより、VisualBERTを削除した場合（S1）MRRが0.226に低下することが確認され、深層マルチモーダル特徴抽出の必要性が裏付けられる。
• アブレーションでは、全スコア関数（$τ_{all}$）またはマルチモーダルコンポーネント（$τ_{sm} + τ_{ms}$）を用いることで、構造的または単一モーダルスコアのみを使用する場合よりも優れた結果が得られ、クロスモーダル相互作用の重要性が強調される。
• VBKGCは高速な推論速度を達成しており、TransE や IKRL といった従来の埋め込みモデルと同等の速さであり、KG-BERT や StAR のような微調整ベースのモデルよりも顕著に速く、優れた精度を維持している。