[論文レビュー] Sequence-to-Sequence Knowledge Graph Completion and Question Answering

Apoorv Saxena, Adrian Kochsiek+1 more|arXiv (Cornell University)|Mar 19, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿では、知識グラフ補完（KGC）および質問応答（KGQA）をテキスト生成タスクとして扱う、sequence-to-sequence TransformerモデルKGT5を提案する。自己回帰的デコーディングを用いてリンク予測の学習を行うT5-smallスタイルのモデルを訓練することで、従来のKGEと比較して最大98%のモデルサイズ削減を達成しながら、SOTAの性能を発揮し、推論が容易であり、タスク間で統一的かつエンドツーエンドで学習可能な仕組みを実現した。

ABSTRACT

Knowledge graph embedding (KGE) models represent each entity and relation of a knowledge graph (KG) with low-dimensional embedding vectors. These methods have recently been applied to KG link prediction and question answering over incomplete KGs (KGQA). KGEs typically create an embedding for each entity in the graph, which results in large model sizes on real-world graphs with millions of entities. For downstream tasks these atomic entity representations often need to be integrated into a multi stage pipeline, limiting their utility. We show that an off-the-shelf encoder-decoder Transformer model can serve as a scalable and versatile KGE model obtaining state-of-the-art results for KG link prediction and incomplete KG question answering. We achieve this by posing KG link prediction as a sequence-to-sequence task and exchange the triple scoring approach taken by prior KGE methods with autoregressive decoding. Such a simple but powerful method reduces the model size up to 98% compared to conventional KGE models while keeping inference time tractable. After finetuning this model on the task of KGQA over incomplete KGs, our approach outperforms baselines on multiple large-scale datasets without extensive hyperparameter tuning.

研究の動機と目的

• 既存の知識グラフ埋め込み（KGE）モデルにおけるスケーラビリティ、品質、多様性、シンプルさの制限を解消すること。
• 知識グラフ補完と質問応答を、1つのスケーラブルでエンドツーエンドで学習可能なフレームワークに統合すること。
• 大規模知識グラフ上で性能を維持または向上させつつ、モデルサイズと推論コストを削減すること。
• リンク予測の事前学習が、KGQAのような知識集約的タスクにおいて、汎用的言語モデリングよりも効果的であるかどうかを評価すること。
• 不完全な知識グラフにおける低容量モデルの記憶と一般化のトレードオフを調査すること。

提案手法

• モデルは、標準的なエンコーダデコーダ型Transformer（T5-smallアーキテクチャ）を用いて、知識グラフトリプルのsequence-to-sequence予測を実行する。
• リンク予測はテキスト生成タスクに再定式化される：関係と1つのエンティティ（頭部または末尾）が与えられたとき、モデルは自己回帰的に欠落しているエンティティを生成する。
• モデルは、トリプルの系列におけるマスクされたスパン予測目的を用いて、大規模知識グラフ上で事前学習される。
• 質問応答のためには、同じモデルをQAペアで微調整し、関係性の知識を保持するためにリンク予測の目的関数から正則化を受ける。
• エンティティ表現は、そのテキスト表記から導出され、専用のエンティティ埋め込みを必要とせず、合成的符号化が可能になる。
• 個々のエンティティ用の埋め込みベクトルを避けることで、トークン系列上の自己回帰的デコーディングに依存することで、モデルサイズを大幅に削減する。

実験結果

リサーチクエスチョン

• RQ1 標準的なTransformerエンコーダデコーダアーキテクチャを用いて、知識グラフ補完を有効にsequence-to-sequence生成タスクに再定式化できるか？
• RQ2 リンク予測で学習した統一されたseq2seqモデルは、性能とモデル効率の両面で、専用のKGEモデルを上回るか？
• RQ3 このようなモデルは、顕著なハイパーパramータチューニングなしで、不完全な知識グラフにおける質問応答タスクに十分に一般化できるか？
• RQ4 リンク予測の事前学習は、下流のKGQAタスクにおいて、汎用的言語モデリングよりも優れているか？
• RQ5 モデル容量が、特に低パrameterモデルにおいて、既知の事実の記憶をどの程度制限するか？

主な発見

• KGT5は、Wikidata5MでテストMRRが0.300を達成し、知識グラフ補完でSOTAの性能を発揮した。ComplExと比較して推論効率が優れており、614Mのパラメータを有するComplExと比較して6000万パラメータのKGT5でも上回った。
• 従来のKGEと比較して、最大98%のモデルサイズ削減を達成しながら、最大9000万エンティティを有する大規模KGでも競争力のある性能を維持した。
• KGQAベンチマークでは、KGT5はKG上で完全に事前学習された場合、WQSPでHits@1が56.1、CWQで36.5を達成し、QAのみで微調整されたT5-smallを上回った。
• リンク予測の事前学習は、KGQAタスクにおいて、汎用的言語モデリングよりも顕著に効果的であることが示された。KGT5は、QAのみで微調整されたT5-smallと比較して優れた性能を示した。
• 完全KG設定では、KGT5の性能が低く、WQSPでHits@1が56.1にとどまり、低容量モデル（6000万パラメータ）のため、記憶能力に限界があることが示された。
• KGT5の訓練MRR（0.304）は、ComplEx（0.721）よりも顕著に低く、モデルが訓練事実を記憶する能力に欠けることが確認され、クローズドブックQAにおける性能制限要因であることが示された。