[論文レビュー] Knowledge Is Flat: A Seq2Seq Generative Framework for Various Knowledge Graph Completion

Chen Chen, Yufei Wang+2 more|arXiv (Cornell University)|Sep 15, 2022

Advanced Graph Neural Networks被引用数 12

ひとこと要約

本稿では、知識グラフ（KG）の事実をテキストに平坦化することで、静的・時系列的・少数ショットの多様な知識グラフ補完（KGC）タスクを統一的に扱う、KG-S2Sと呼ばれる統合的Seq2Seq生成フレームワークを提案する。1つのモデルがテキスト対テキスト生成によりすべてのタスクを処理可能となる。エンティティの説明、ソフトプロンプト、制約付きデコードを用いて入力表現を強化することで、5つのベンチマークで最先端の性能を達成した。パラメータ効率的であり、新規で妥当なエンティティの生成も可能である。

ABSTRACT

Knowledge Graph Completion (KGC) has been recently extended to multiple knowledge graph (KG) structures, initiating new research directions, e.g. static KGC, temporal KGC and few-shot KGC. Previous works often design KGC models closely coupled with specific graph structures, which inevitably results in two drawbacks: 1) structure-specific KGC models are mutually incompatible; 2) existing KGC methods are not adaptable to emerging KGs. In this paper, we propose KG-S2S, a Seq2Seq generative framework that could tackle different verbalizable graph structures by unifying the representation of KG facts into "flat" text, regardless of their original form. To remedy the KG structure information loss from the "flat" text, we further improve the input representations of entities and relations, and the inference algorithm in KG-S2S. Experiments on five benchmarks show that KG-S2S outperforms many competitive baselines, setting new state-of-the-art performance. Finally, we analyze KG-S2S's ability on the different relations and the Non-entity Generations.

研究の動機と目的

• 特定の知識グラフ構造に強く依存する既存のKGCモデルの間の不適合性と柔軟性の欠如を解消すること。
• 構造的変更なしに、静的・時系列的・少数ショットの多様なKGCタスクを1つの生成フレームワークで統合すること。
• 構造的なKG事実をテキストに平坦化する際の情報損失を、入力表現と推論メカニズムの改善によって軽減すること。
• データ拡張や新規知識発見に有用な、非エンティティ的だが妥当な知識トリプルの生成を可能にすること。
• 知識グラフのスケールに伴いパラメータ数がゆっくりと増加する、パラメータ効率的なモデルの開発

提案手法

• 構造にかかわらず、すべてのKG事実を「テキスト対テキスト」形式に平坦化し、エンティティ・関係・時刻を単なるテキスト系列として扱う。
• エンティティの説明、ソフトプロンプト、Seq2Seqドロップアウトを用いて入力表現を強化し、意味的・構造的ヒントを保持する。
• プレフィックス制約を用いた制約付きデコードアルゴリズムを実装し、生成が有効なエンティティや関係に向けられるように誘導する。
• 標準的なテキスト生成目的関数を用いて、事前学習済みSeq2Seq言語モデル（T5-base/small）をKGCタスクにファインチューニングする。
• 生成品質と推論コストのバランスを考慮し、固定ビーム幅40のビームサーチを用いる。
• 全バックボーンをファインチューニングせずに、関係ごとにソフトプロンプト機構を統合し、モデルのコンテキスト内挙動を適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 構造的変更なしに、静的・時系列的・少数ショットの複数のKGCタスクを1つのSeq2Seq生成フレームワークが処理できるか？
• RQ2 平坦化された系列に変換された際、テキスト対テキストアプローチがKGの構造的情報をどの程度保持できるか？
• RQ3 モデルが意味的に妥当で、知識発見に有用な非エンティティ的エンティティをどの程度生成できるか？
• RQ4 パラメータサイズの増加に伴うモデル性能のスケーリング特性は？知識グラフが拡大しても効率的であるか？
• RQ5 エンティティの説明、ソフトプロンプト、制約付きデコードの組み合わせが、生成品質およびKGC性能を顕著に向上させるか？

主な発見

• KG-S2Sは、WN18RR、FB15K-237、FB15K-237N、ICEWS14、NELL-Oneの5つのベンチマークすべてで最先端の性能を達成し、グラフベースおよびPLMベースのベースラインを上回った。
• FB15K-237Nでは、T5-baseバックボーン（220Mパラメータ）を用いてMRR 0.353を達成し、354MパラメータのStAR（MRR 0.274）を上回った。
• より小さいT5-smallバックボーン（60Mパラメータ）を用いても、KG-S2SはMRR 0.351を達成し、顕著に少ないパラメータ数で優れた性能を示した。
• ビーム幅を40まで増加させると性能が向上し、以降は増加が止まるため、コストと精度のトレードオフとしてビームサイズ40の選択が妥当であることが裏付けられた。
• プレフィックス制約なしでは、KG-S2Sは「スーパーヒーロー映画」（ロボコップのジャンルに対して）や「インド系アメリカ人」（M. ニュート・シャンマランの民族的背景に対して）といった、意味的に妥当な非エンティティのテキストを生成した。
• KG-S2Sのパラメータ増加は、関係数に比例してスケーリングするソフトプロンプトのおかげで、KGサイズにほとんど依存せずほぼ一定である（$O(|\mathcal{R}| \cdot d)$）。これに対して、従来のモデルはエンティティ数と関係数に比例して増加する（$O((|\mathcal{E}|+|\mathcal{R}|)d)$）ため、より効率的である。