[論文レビュー] Knowledge Engineering using Large Language Models

Bradley P. Allen, Lise Stork+1 more|arXiv (Cornell University)|Oct 1, 2023

Natural Language Processing Techniques被引用数 8

ひとこと要約

要約: 本論文は大規模言語モデルが知識工学を前進させる可能性を探り、2つの道筋を提案する。ハイブリッド神経-symbolicシステムと、プロンプト設計による自然言語駆動の知識工学の2経路を提示し、未解決の研究課題を概説する。

ABSTRACT

Knowledge engineering is a discipline that focuses on the creation and maintenance of processes that generate and apply knowledge. Traditionally, knowledge engineering approaches have focused on knowledge expressed in formal languages. The emergence of large language models and their capabilities to effectively work with natural language, in its broadest sense, raises questions about the foundations and practice of knowledge engineering. Here, we outline the potential role of LLMs in knowledge engineering, identifying two central directions: 1) creating hybrid neuro-symbolic knowledge systems; and 2) enabling knowledge engineering in natural language. Additionally, we formulate key open research questions to tackle these directions.

研究の動機と目的

• 知識が自然言語と形式言語のどちらで表現されるべきか、そしてLLMsがKEにおいてなぜ重要かを示す。
• 2つの前向きな道筋を提案する：KEの構成要素としてのLLMsと、プロンプト設計によるKE。
• LLMベースのKEの方法論・アーキテクチャ・評価にまたがる未解決研究課題を概説する。
• ドメインに依存しない含意を議論し、多様性重視の具体例を示して課題を説明する。

提案手法

• 知識の形態とそれらがKE実践にどのように情報を与えるかを説明し、生物多様性をマルチモーダルな例として取り上げる。
• LLMsが自然言語を形式的表現へ変換する変革を可能にし、KEタスクを実現することを主張する。
• 2つのシナリオを提示する：ハイブリッド神経-symbolicシステム内のKE構成要素としてのLLMsの活用、自然言語プロンプト設計によるKE。
• CommonKADSフレームワークへKEタスクをマッピングし、LLMsとプロンプトを取り入れる拡張を論じる。
• LLMsをKEワークフローへ統合する際の設計パターンとアーキテクチャ上の考慮事項を特定する。
• 方法論・アーキテクチャ・データ管理・認知基準・労働経済に跨る未解決研究課題を強調する。

Figure 1 . A specimen of the Loligo vulgaris Lamarck, 1798 species from the Naturalis–Zoology and Geology catalogues. 2 2 2 https://bioportal.naturalis.nl/nl/specimen/RMNH.MOL.5009890 Images free of known restrictions under copyright law (Public Domain Mark 1.0).

実験結果

リサーチクエスチョン

• RQ1 LLMsを統合しつつ信頼性と再現性を保つためにKEはどのような方法論を採ぶべきか？
• RQ2 プロンプト設計パターンは推論を支え、制御可能で再現可能なKEプロセスをどのように維持できるか？
• RQ3 ハイブリッド神経-symbolicアーキテクチャは追跡可能性と検証性を損なうことなくLLMsを組み込めるのか？
• RQ4 LLMベースのKEにおいて、プロンプトと出力のFAIR風の取り扱いを保証するデータ管理と出典管理はどうあるべきか？
• RQ5 実務でLLM駆動のKEを展開する際に生じる認知基準と労働経済的影響は何か？

主な発見

• LLMsは自然言語知識を形式的表現や他のモダリティへ翻訳するための汎用ツールを提供する。
• LLMsを用いたKEには2つの現実的なシナリオがある：LLMsをKEの構成要素として用いる、またKEタスクを自然言語のプロンプト設計問題として扱う。
• CommonKADSはLLMsを知識集約型タスクのワークフローへ統合する出発点を提供し、プロンプトは知識抽出・組織化・検証を導く。
• プロンプト設計は専門家が自然言語で直接貢献できるようにすることで、KEの導入障壁を低減する可能性がある。
• 課題として幻視・バイアス・信頼性・出典と再現性の必要性が挙げられる。
• 生物多様性の事例は、マルチモーダルな知識（画像・テキスト・分類体系）を示し、形式化における相互運用性・データ標準・領域専門知識の必要性を示す。

Figure 2 . Hierarchy of knowledge-intensive task types from CommonKADS ( [ 86 ] , p.125)