[論文レビュー] Endowing Language Models with Multimodal Knowledge Graph Representations

Ningyuan Huang, Yash R. Deshpande+5 more|arXiv (Cornell University)|Jun 27, 2022

Topic Modeling被引用数 10

ひとこと要約

本稿では、VisualSem KGから濃縮ベクトルインデックスを用いてエンティティ埋め込みを検索することで、言語モデルにマルチモーダル知識グラフ（KG）表現を統合する手法を提案する。タプルベースおよびグラフベースのハイブリッドモデルにより、視覚的、文脈的、構造的特徴を統合することで、多言語的NERでは0.3–0.7% F1向上、クロスリンガル視覚的意味あいまいさ解消では最大2.5%の精度向上を達成する。

ABSTRACT

We propose a method to make natural language understanding models more parameter efficient by storing knowledge in an external knowledge graph (KG) and retrieving from this KG using a dense index. Given (possibly multilingual) downstream task data, e.g., sentences in German, we retrieve entities from the KG and use their multimodal representations to improve downstream task performance. We use the recently released VisualSem KG as our external knowledge repository, which covers a subset of Wikipedia and WordNet entities, and compare a mix of tuple-based and graph-based algorithms to learn entity and relation representations that are grounded on the KG multimodal information. We demonstrate the usefulness of the learned entity representations on two downstream tasks, and show improved performance on the multilingual named entity recognition task by $0.3\%$--$0.7\%$ F1, while we achieve up to $2.5\%$ improvement in accuracy on the visual sense disambiguation task. All our code and data are available in: \url{https://github.com/iacercalixto/visualsem-kg}.

研究の動機と目的

• モデルパラメータに知識を格納するのではなく、外部のマルチモーダル知識グラフに知識をオフロードすることで、NLUモデルのパrameter効率を向上させること。
• 視覚的、文脈的、構造的信号が、知識グラフ内でのエンティティおよび関係の堅牢な表現を学習するためにどのように統合できるかを調査すること。
• これらの学習済み表現が、特に多言語的およびビジョン・ランゲージ設定における下流NLUタスクでどれほど有用であるかを評価すること。
• 今後の研究を支援するため、学習済みエンティティおよび関係表現を公開すること。
• 多言語的・マルチモーダルKGにおける表現学習において、タプルベースとグラフベースのニューラルアーキテクチャの比較を行うこと。

提案手法

• 入力文（例えばドイツ語）を対象に、文検索モデルを介してVisualSem KGのノードにマッピングすることで、濃縮ベクトルインデックスを用いて関連するエンティティを検索する。
• 視覚的特徴（ResNet-152 pool5特徴量）、文脈的記述（BERT埋め込み）、構造的グラフ情報の3つを同時に符号化することで、マルチモーダルエンティティ表現を学習する。
• タプルベース（例：TransEスタイル）およびグラフベース（例：GNNベース）の両方のアプローチを統合したハイブリッド表現学習フレームワークを採用し、KG構造の予測と一般化性能の向上を図る。
• 正例トリプル（頭部、関係、末尾）が負例よりも埋め込み空間で近くなるように、コントラスト学習の目的関数を用いてエンティティおよび関係表現を学習する。
• ベース言語モデルを微調整せずに、検索されたエンティティ表現を入力表現に連結することで、下流モデルに外部特徴として統合する。
• ReLUおよびソフトマックスを用いた2層の全結合ネットワークを分類に適用し、検索されたエンティティ表現で入力を拡張することで予測性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 VisualSem KGにおけるエンティティおよび関係のマルチモーダル表現学習において、異なるタプルベースおよびグラフベースのニューラルアーキテクチャは、どのように性能を比較するか？
• RQ2 リンク予測の文脈において、視覚的および文脈的モダリティが、学習済みエンティティ表現の質にどの程度寄与するか？
• RQ3 推論時に取得したマルチモーダルKG表現が、多言語的NERおよびクロスリンガル視覚的動詞意味あいまいさ解消タスクの性能向上に寄与するか？
• RQ4 外部マルチモーダル知識の統合が、パrameter効率を維持したままモデル性能に与える影響は何か？
• RQ5 視覚的、文脈的、構造的情報の各々が、最終的なエンティティ表現品質に与える相対的影響は何か？

主な発見

• リンク予測性能を指標にしたエンティティ表現学習において、純粋にタプルベースまたはグラフベースのベースラインに比べ、ハイブリッドタプル・グラフベースのモデルが優れた性能を示す。
• エンティティ表現に視覚的特徴を組み込むことで、クロスリンガル視覚的動詞意味あいまいさ解消タスクにおいて、ベースライン比で2.5%の絶対的精度向上が達成された。
• 検索されたVisualSemエンティティ表現を用いることで、多言語的名前付きエンティティ認識タスクでF1スコアが0.3%～0.7%の絶対的向上を達成した。
• 14ヶ国語の文脈的記述と関連画像を用いることで、特に多言語的タスクにおいて、学習済みエンティティ表現の質が著しく向上した。
• 性能向上は、さまざまな下流アーキテクチャにわたり一貫しており、取得された表現が堅牢で汎化可能であることが示された。
• 公開されたエンティティおよび関係表現は、下流NLUタスクにおいて有効であることが確認され、今後のマルチモーダル知識グラウンディング分野の研究を加速することが期待される。