[論文レビュー] KGValidator: A Framework for Automatic Validation of Knowledge Graph Construction

Jack Boylan, Shashank Mangla+4 more|arXiv (Cornell University)|Apr 24, 2024

Semantic Web and Ontologies被引用数 5

ひとこと要約

KGValidator は、LLMs を用いてモデルの文脈、ユーザー提供文書、Wikidata、ウェブソースからの文脈を活用して KG 完了トリプルを検証する柔軟なフレームワークを提案し、ゴールド参照を必要とせず、外部コンテキストを用いたゼロショット検証の改善を示す。

ABSTRACT

This study explores the use of Large Language Models (LLMs) for automatic evaluation of knowledge graph (KG) completion models. Historically, validating information in KGs has been a challenging task, requiring large-scale human annotation at prohibitive cost. With the emergence of general-purpose generative AI and LLMs, it is now plausible that human-in-the-loop validation could be replaced by a generative agent. We introduce a framework for consistency and validation when using generative models to validate knowledge graphs. Our framework is based upon recent open-source developments for structural and semantic validation of LLM outputs, and upon flexible approaches to fact checking and verification, supported by the capacity to reference external knowledge sources of any kind. The design is easy to adapt and extend, and can be used to verify any kind of graph-structured data through a combination of model-intrinsic knowledge, user-supplied context, and agents capable of external knowledge retrieval.

研究の動機と目的

• 大規模な人間アノテーションを必要とせず、知識グラフの補完を検証するという課題に取り組む。
• 多様な文脈を用いてトリプルを検証するために大規模言語モデル（LLMs）を活用する。
• 任意のグラフ構造データを検証できる、単純で拡張可能なパイプラインを提供する。
• 外部ソース（Wikidata、ウェブ）がデータセット全体で検証精度を向上させることを示す。

提案手法

• KGValidator を導入し、KG トリプルを文脈情報に対して検証するフレームワーク。
• 構造化され意味論的に根拠付けられたバリデータ出力を強制するために Pydantic モデルと Instructor ライブラリを使用する。
• 複数の検証文脈をサポートする。LLM 自身の知識、ユーザー提供文書からのテキスト文脈、Wikidata 参照 KG、ウェブ検索結果。
• テキスト文脈をチャンク化して埋め込み、検索可能なインデックスを構築し、関連する証拠を照会することで、検索強化検証を実装する。
• GPT-3.5-turbo や Llama 系モデルなどのバックボーンと外部知識取得ツールを用いてゼロショットバリデータのインスタンス化を許可する。

実験結果

リサーチクエスチョン

• RQ1 文脈証拠を用いたゼロショット設定で、LLM ベースのバリデータがKGトリプルの妥当性を正確に判断できるか。
• RQ2 テキストベース、Wikidata、ウェブ由来の文脈を提供することが、標準的なKG補完ベンチマーク全体の検証性能にどのように影響するか。
• RQ3 固有の LLM 知識の制限は何か、外部文脈はそれをどう緩和するか。

主な発見

• 外部文脈は多くのデータセットとモデルで検証精度を大幅に向上させる。
• GPT-4 バリデータはデータセット全般で一般に高い性能を示し、特に Wikidata およびウェブ文脈で強力。
• 固有の LLM 知識だけではトリプルを信頼性高く検証できないことが多く、外部検証信号の必要性を示している。
• Llama-2 のようなオープンソースモデルはゼロショット KG 検証タスクで性能が低いことがあり、この設定におけるモデル依存を浮き彫りにしている。
• 検証の有効性はドメインによって異なり、特定ドメインデータ（例: UMLS）は文脈があっても依然として難しい。