[論文レビュー] From human experts to machines: An LLM supported approach to ontology and knowledge graph construction

Vamsi Krishna Kommineni, Birgitta König‐Ries+1 more|arXiv (Cornell University)|Mar 13, 2024

Semantic Web and Ontologies被引用数 39

ひとこと要約

この論文は、オープンソースの LLM を用いて competency questions を生成し、オントロジーを構築し、知識グラフを作成する半自動パイプラインを提示し、人間の介入による評価と judge LLM を用いたスコアリングを行う。

ABSTRACT

The conventional process of building Ontologies and Knowledge Graphs (KGs) heavily relies on human domain experts to define entities and relationship types, establish hierarchies, maintain relevance to the domain, fill the ABox (or populate with instances), and ensure data quality (including amongst others accuracy and completeness). On the other hand, Large Language Models (LLMs) have recently gained popularity for their ability to understand and generate human-like natural language, offering promising ways to automate aspects of this process. This work explores the (semi-)automatic construction of KGs facilitated by open-source LLMs. Our pipeline involves formulating competency questions (CQs), developing an ontology (TBox) based on these CQs, constructing KGs using the developed ontology, and evaluating the resultant KG with minimal to no involvement of human experts. We showcase the feasibility of our semi-automated pipeline by creating a KG on deep learning methodologies by exploiting scholarly publications. To evaluate the answers generated via Retrieval-Augmented-Generation (RAG) as well as the KG concepts automatically extracted using LLMs, we design a judge LLM, which rates the generated content based on ground truth. Our findings suggest that employing LLMs could potentially reduce the human effort involved in the construction of KGs, although a human-in-the-loop approach is recommended to evaluate automatically generated KGs.

研究の動機と目的

• オントロジーと KG 構築における人手の削減を品質を維持しつつ促進する。
• competency questions から KG 作成までを含む半自動パイプラインを実証する。
• 既存のオントロジー（例：PROV-O）を再利用し、LLM が生成した内容を地上 truth と比較して評価する。
• 生物多様性の学術 publication から DL methodology KG を構築することで実現可能性を示す。

提案手法

• 六要素パイプライン: データ収集、Competency Question (CQ) 生成、オントロジー作成、CQ 回答、KG 構築、評価。
• オープンソースの LLMs を zero-shot 設定で用い、CQ 回答のために RAG を活用する（Mixtral 8x7B を比較後選択）。
• CQ 回答のために CQ/QA からオントロジーを構築し、基盤オントロジーとして PROV-O を再利用し、CQ 回答を KG の概念へマッピングする。
• Retrieval-Augmented Generation を用いて five biodiversity publications から CQ を解答する。
• 地上 truth に対して judge LLM を用いて CQ 回答と KG 概念を評価する。five articles が注釈付けされた。
• 再現性のために public code と data を GitHub で提供する。

Figure 1: The (semi-)automatic approach for constructing KGs. Human-in-the-loop is involved in the second and sixth stages of the LLM supported pipeline.

実験結果

リサーチクエスチョン

• RQ1 オープンソース LLM が人間の介入による検証と共に CQ 生成、オントロジー作成、KG 構築を半自動化できるか？
• RQ2 ground truth と照合した場合、LLM 生成 CQ 回答とその結果としての KG の品質はどうか？
• RQ3 プロンプト設計と RAG 設定は、得られるオントロジーと KG にどのような影響を与えるか？
• RQ4 PROV-O はこの半自動ワークフローにおける DL パイプラインの起源性の基盤オントロジーとして適しているか？
• RQ5 生物多様性 DL 手法の有用な KG を作成する際の自動化と人手の労力のトレードオフはどの程度か？

主な発見

Publication / Combination	Prompt v1 and CQ answer v1	Prompt v1 and CQ answer v2	Prompt v2 and CQ answer v1	Prompt v2 and CQ answer v2
Klein et al. 2015 [12]	24.32	x	x	9.42
Khalighifar et al. 2021 [11]	85.71	x	x	68.06
Choe et al. 2021 [5]	73.21	64.41	59.26	64.29
Mahmood et al. 2016 [16]	91.53	81.48	82.76	77.55
Younis et al. 2020 [25]	66.67	x	67.51	61.67

• DL パイプラインの各段階をカバーするように 40 個の competency questions が生成された。
• DLProv オントロジーは PROV-O を再利用して、45 クラス、41 関係、365 節公理で作成された。
• 人間の注釈者と LLM Judge の間に 200 件の評価済み CQ 回答のうち 42 件の不一致があった。
• 最適な KG の性能（CQ 回答と KG の個体の整合率の割合）は、5 つの出版物ごとにプロンプト/ CQ 回答の組み合わせによって異なった。
• 5 件の出版物を通じて、いくつかのプロンプト/ CQ 組み合わせは有意義な KG を生み出した一方で、他は有意義な KG を生まなかった（x で表記）。
• 単一のパイプラインはある組み合わせで最大 91.53% の整合を達成し、他の組み合わせでは 81.48%、82.76%、77.55%、68.06%、66.67% を達成した。

Figure 2: An excerpt of the DLProv ontology generated by the LLM in our pipeline.