[論文レビュー] Dynamic Retrieval Augmented Generation of Ontologies using Artificial Intelligence (DRAGON-AI)

Sabrina Toro, Anna V. Anagnostopoulos+28 more|arXiv (Cornell University)|Dec 18, 2023

Semantic Web and Ontologies被引用数 6

ひとこと要約

DRAGON-AIは、大規模言語モデル（LLMs）とリtrieval-augmented generation（RAG）を活用して、複数の構造化されたオントロジーおよび非構造化テキストソースから知識を取得することで、オントロジー構築を自動化する動的でリtrieval拡張型生成フレームワークを提案する。関係性生成において高い正確性を達成し、人間による評価を受けた定義は受け入れ可能とされたが、専門家が作成した定義ほど優れてはいない。これは、専門家の監視のもとでオントロジー開発を加速する可能性を示している。

ABSTRACT

Background: Ontologies are fundamental components of informatics infrastructure in domains such as biomedical, environmental, and food sciences, representing consensus knowledge in an accurate and computable form. However, their construction and maintenance demand substantial resources and necessitate substantial collaboration between domain experts, curators, and ontology experts. We present Dynamic Retrieval Augmented Generation of Ontologies using AI (DRAGON-AI), an ontology generation method employing Large Language Models (LLMs) and Retrieval Augmented Generation (RAG). DRAGON-AI can generate textual and logical ontology components, drawing from existing knowledge in multiple ontologies and unstructured text sources. Results: We assessed performance of DRAGON-AI on de novo term construction across ten diverse ontologies, making use of extensive manual evaluation of results. Our method has high precision for relationship generation, but has slightly lower precision than from logic-based reasoning. Our method is also able to generate definitions deemed acceptable by expert evaluators, but these scored worse than human-authored definitions. Notably, evaluators with the highest level of confidence in a domain were better able to discern flaws in AI-generated definitions. We also demonstrated the ability of DRAGON-AI to incorporate natural language instructions in the form of GitHub issues. Conclusions: These findings suggest DRAGON-AI's potential to substantially aid the manual ontology construction process. However, our results also underscore the importance of having expert curators and ontology editors drive the ontology generation process.

研究の動機と目的

• 生物医学や環境科学などの科学分野における手作業によるオントロジー構築の高コストかつ協働作業が求められる課題に対処すること。
• テキスト的および論理的要素の両方を自動生成するAI駆動の手法を開発すること。
• 専門家による評価とベンチマークを用いて、AIが生成したオントロジー用語、定義、関係性の品質を評価すること。
• GitHubのイシューのような自然言語の指示をオントロジー生成ワークフローに統合する方法を検討すること。
• 専門家キュレーターがAIが生成したオントロジー内容を検証・精練する役割を評価すること。

提案手法

• DRAGON-AIは、大規模言語モデル（LLM）にプロンプトを送信する前に、既存のオントロジーおよび非構造化テキストソースから関連する知識をリtrieval-augmented generation（RAG）で取得する。
• 本システムは、バイオメディカルおよび環境分野のオントロジーを含む多様な知識ソースにおいて、ベクトル類似度とキーワードベース検索を組み合わせたハイブリッドリtrieバル戦略を採用している。
• 既存のオントロジー標準からの例を用いたfew-shotプロンプティングにより、ラベル、定義、公理的関係などのオントロジー要素を生成する。
• 自然言語の指示（例：GitHubのイシュー）による動的入力をサポートし、バージョン管理された開発ワークフローへの統合を可能にする。
• 生成された出力は、経験年数の異なる専門家による評価を通じて検証され、信頼性レベルが評価される。
• フレームワークは、OBO FoundryやEFOを含む10の多様なオントロジーを対象に、用語の品質および論理的一致性の手動評価を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 DRAGON-AIは、論理的推論に基づく手法と同等の高精度で関係性を生成できるか？
• RQ2 専門家による評価では、AIが生成した定義の質は人間が作成した定義と比べてどの程度評価されるか？
• RQ3 GitHubのイシューのような自然言語の指示が、オントロジー生成を効果的に導くのにどの程度有効に使えるか？
• RQ4 評価者の専門的経験の程度が、AIが生成した定義の欠陥を検出できる能力に相関するか？
• RQ5 DRAGON-AIは、構造化されたオントロジーと非構造化テキストソースの両方から知識を効果的に取得・統合できるか？

主な発見

• DRAGON-AIは関係性生成において高い正確性を達成したが、論理的推論に基づく手法に比べてわずかに低い水準であった。
• 専門家による評価では、AIが生成した定義の60％が受け入れ可能とされたが、人間が作成した定義に比べて品質評価で顕著に低い得点であった。
• 最も高い分野専門性を持つ評価者が、AIが生成した定義の欠陥を最も正確に特定できたため、専門家による検証の役割が強く重要であると示された。
• システムは、GitHubのイシューのような自然言語の指示をオントロジー生成の入力として効果的に統合でき、ソフトウェア開発パイプラインへの統合を可能にした。
• OBO FoundryやEFOを含む10の多様なオントロジーにおいて、本手法は強固なパフォーマンスを示し、広範な適用可能性を示した。
• 関係性生成において優れたパフォーマンスを示したが、依然として意味的正確性および一貫性を保証するための専門家によるキュレーションが必要であると判明した。