[論文レビュー] Iterative Zero-Shot LLM Prompting for Knowledge Graph Construction

Salvatore Carta, Alessandro Giuliani+4 more|arXiv (Cornell University)|Jul 3, 2023

Topic Modeling被引用数 21

ひとこと要約

本論文は、外部リソースや例示なしで、非構造化テキストから知識グラフのスキーマを自動的に抽出、解決、推定するための、GPT-3.5を用いた逐次ゼロショット prompting パイプラインを提案する。

ABSTRACT

In the current digitalization era, capturing and effectively representing knowledge is crucial in most real-world scenarios. In this context, knowledge graphs represent a potent tool for retrieving and organizing a vast amount of information in a properly interconnected and interpretable structure. However, their generation is still challenging and often requires considerable human effort and domain expertise, hampering the scalability and flexibility across different application fields. This paper proposes an innovative knowledge graph generation approach that leverages the potential of the latest generative large language models, such as GPT-3.5, that can address all the main critical issues in knowledge graph building. The approach is conveyed in a pipeline that comprises novel iterative zero-shot and external knowledge-agnostic strategies in the main stages of the generation process. Our unique manifold approach may encompass significant benefits to the scientific community. In particular, the main contribution can be summarized by: (i) an innovative strategy for iteratively prompting large language models to extract relevant components of the final graph; (ii) a zero-shot strategy for each prompt, meaning that there is no need for providing examples for "guiding" the prompt result; (iii) a scalable solution, as the adoption of LLMs avoids the need for any external resources or human expertise. To assess the effectiveness of our proposed model, we performed experiments on a dataset that covered a specific domain. We claim that our proposal is a suitable solution for scalable and versatile knowledge graph construction and may be applied to different and novel contexts.

研究の動機と目的

• オープンドメイン知識グラフ構築における未解決の課題（データ品質、スケーラビリティ、ラベル付きデータの不足）に対処する。
• 外部知識ベースに依存せず、反復的なゼロショットLLMプロンプトに基づく完全自動のKG構築パイプラインを開発する。
• 人間の介入なしに、ドメインに依存しないエンティティ、関係、および学習済みスキーマの抽出を実現する。

提案手法

• 構造化されたシステムとユーザープロンプト設計を介してGPT-3.5を使用し、テキストチャンクから反復的に候補トリプレットを抽出する。
• サードパーティのリソースを使わず、意味的に似た概念をクラスタリングし、表現を単一の表現に統合するエンティティ/述語解決モジュールを採用する。
• LLMの出力に導かれた推論駆動型のプロンプト段階を通じて、KGスキーマを自動的に推定する。
• トークン制限を管理し、チャンク間の文脈を保持するために重複ウィンドウを用いたテキスト分割を実装する。
• すべてのプロンプトにゼロショットパラダイムを採用し、例や微調整を避ける。
• ドメイン固有のテキストに適用してパイプラインを評価し、生成されたKGコンポーネントを分析する。

実験結果

リサーチクエスチョン

• RQ1 監督なしで複数のテキストデータソースから情報を効果的に抽出するにはどうすればよいか？
• RQ2 人手の介在や外部知識ベースなしで抽出品質を向上させるにはどうすればよいか？
• RQ3 外部KBやOpenIE手法に頼らずにトリプレットを生成するにはどうすればよいか？
• RQ4 人間の介入なしに大規模データセットでスケーラブルなKG構築を実現する戦略は何か？
• RQ5 知識非依存の方法で、曖昧性解消とエンティティ/述語のリンクを信頼性高く達成するにはどうすればよいか？

主な発見

• 人間の介入なしにKG構築を自動化する逐次的なLLMプロンプトパイプラインを提案する。
• エンティティを説明と型とともに、述語をラベルと説明とともに特定するプロンプトを開発し、堅牢なトリプレット作成を実現する。
• 外部リソースなしで、意味的に類似する概念をクラスタリングし、プロンプト内で意味を解決するエンティティ/述語解決手法を導入する。
• 例や知識ベースを必要としないゼロショット的アプローチを示し、ドメイン非依存のスキーマ生成をサポートする。
• パイプラインが人間の努力なしに大規模データを処理できることを示し、生成されたグラウンドトゥルースプロンプトを通じた評価の土台を提供する。