[論文レビュー] SAC-KG: Exploiting Large Language Models as Skilled Automatic Constructors for Domain Knowledge Graphs

Hanzhu Chen, Xu Shen+4 more|arXiv (Cornell University)|Sep 22, 2024

Advanced Graph Neural Networks被引用数 4

ひとこと要約

SAC-KG は、大規模言語モデル（LLM）を熟練した自動構築者として活用し、生のコーパスから正確で多段階のドメイン固有知識グラフ（KG）を構築する新しいフレームワークを提案する。反復的でエンティティ誘導型のツリー探索において、ジェネレータ、バリデータ、プリンタを統合することで、100万ノードを超えるKGで89.32%の精度を達成。これは、最先端手法を20%以上上回る精度である。

ABSTRACT

Knowledge graphs (KGs) play a pivotal role in knowledge-intensive tasks across specialized domains, where the acquisition of precise and dependable knowledge is crucial. However, existing KG construction methods heavily rely on human intervention to attain qualified KGs, which severely hinders the practical applicability in real-world scenarios. To address this challenge, we propose a general KG construction framework, named SAC-KG, to exploit large language models (LLMs) as Skilled Automatic Constructors for domain Knowledge Graph. SAC-KG effectively involves LLMs as domain experts to generate specialized and precise multi-level KGs. Specifically, SAC-KG consists of three components: Generator, Verifier, and Pruner. For a given entity, Generator produces its relations and tails from raw domain corpora, to construct a specialized single-level KG. Verifier and Pruner then work together to ensure precision by correcting generation errors and determining whether newly produced tails require further iteration for the next-level KG.Experiments demonstrate that SAC-KG automatically constructs a domain KG at the scale of over one million nodes and achieves a precision of 89.32%, leading to a superior performance with over 20% increase in precision rate compared to existing state-of-the-art methods for the KG construction task.

研究の動機と目的

• 既存のドメイン固有知識グラフ（KG）構築手法における人的依存の高さとスケーラビリティの低さを是正すること。
• LLM を用いた KG 構築における2つの主要な課題に取り組むこと：入力における文脈的ノイズと出力における知識の空想（ホールーシュレーション）。
• LLM を熟練した自動構築者として用いて、手動のキュレーションやファインチューニングを必要とせずに、完全自動的かつ正確で制御可能なドメイン固有 KG の構築を可能にすること。
• 手動のキュレーションやファインチューニングを一切不要としつつ、大規模で多段階のドメイン KG を高精度かつスケーラブルに構築すること。

提案手法

• ジェネレータはドメイン固有のコーパスと、オープンソース KG（例：DBpedia）からの関連する三項組みを取得し、LLM に文脈的に豊かにされた入力を提供する。
• LLM は統合された入力をもとに、エンティティ誘導型の三項組み（頭部-関係-末尾）を生成し、特定のエンティティに対して単一段階の KG を構築する。
• バリデータは RuleHub からのルールベースの基準を用いて生成エラーを検出し、分類することで事実の整合性を向上させる。
• プリンタは生成された末尾を評価し、次回の段階に進める（「成長」）か、除外する（「プルーニング」）かを判断し、多段階 KG の拡張を可能にする。
• フレームワークは、エンティティが「成長」としてマークされたものから次の生成段階の入力として再利用する反復的でツリー探索に類似したプロセスを採用する。
• オープン KG の取得とドメインコーパスの取得を統合することで、事実の根拠付けを強化し、ホールーシュレーションを低減する。

実験結果

リサーチクエスチョン

• RQ1 LLM を熟練した自動構築者として効果的に活用し、人的介入を最小限に抑え、正確でドメイン固有の知識グラフを構築できるか？
• RQ2 生のドメインコーパスに含まれる文脈的ノイズをどのように軽減すれば、LLM が生成する三項組みの品質を向上させられるか？
• RQ3 エラー検出およびプルーニング機構は、知識のホールーシュレーションをどの程度低減し、KG の精度を向上させられるか？
• RQ4 反復的で多段階の構築プロセスは、単一パス手法と比較して、ドメイン KG のスケーラビリティと事実の正確性を顕著に向上させられるか？
• RQ5 SAC-KG は、ドメイン固有のタスクに加え、オープン情報抽出（OIE）タスクを含む多様なベンチマークでどの程度の性能を示すか？

主な発見

• SAC-KG は 100万ノードを超えるドメイン固有の知識グラフを構築し、89.32% の精度を達成。既存の最先端手法を顕著に上回った。
• ドメイン KG 構築分野において、先行する SOTA 手法と比較して 20% 以上の精度向上を達成。事実の正確性に優れた性能を示した。
• アブレーションスタディの結果、とりわけプリンターやオープン KG リトリーバの欠落により、顕著な性能低下が生じ、これらが極めて重要な役割を果たしていることが明らかになった。
• お米の品種および専門家に関するケーススタディにおいて、Recall が低いにもかかわらず、ルールベース法や他の LLM ベース手法と比較して、より解釈可能でドメイン特化された三項組みを生成した。
• 標準的な OIE ベンチマーク（OIE2016, NYT, WEB, PENN）においても、SOTA の性能を達成。ドメイン固有タスクにとどまらず、一般化能力と頑健性を確認した。
• ドメインコーパスとオープン KG の両方のリトリーブ統合が、アブレーション結果およびケース分析を通じて、生成品質の向上に顕著に寄与していることが示された。