[論文レビュー] OntoChat: a Framework for Conversational Ontology Engineering using Language Models

Boxuan Zhang, Valentina Anita Carriero+5 more|arXiv (Cornell University)|Mar 9, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

OntoChat は、大規模言語モデル（LLM）を活用して、ユーザーストーリー生成、コンpetency question（CQ）抽出、CQクラスタリング、オントロジー検証などのオントロジー工学タスクを自動化・最適化する会話型フレームワークである。CQのサポート有無分類において87.5％の正確性を達成し、ドメインエキスパートおよびオントロジー工学者からも、人的作業の削減と要件抽出の効率化の観点で好意的な評価を受けた。

ABSTRACT

Ontology engineering (OE) in large projects poses a number of challenges arising from the heterogeneous backgrounds of the various stakeholders, domain experts, and their complex interactions with ontology designers. This multi-party interaction often creates systematic ambiguities and biases from the elicitation of ontology requirements, which directly affect the design, evaluation and may jeopardise the target reuse. Meanwhile, current OE methodologies strongly rely on manual activities (e.g., interviews, discussion pages). After collecting evidence on the most crucial OE activities, we introduce extbf{OntoChat}, a framework for conversational ontology engineering that supports requirement elicitation, analysis, and testing. By interacting with a conversational agent, users can steer the creation of user stories and the extraction of competency questions, while receiving computational support to analyse the overall requirements and test early versions of the resulting ontologies. We evaluate OntoChat by replicating the engineering of the Music Meta Ontology, and collecting preliminary metrics on the effectiveness of each component from users. We release all code at https://github.com/King-s-Knowledge-Graph-Lab/OntoChat.

研究の動機と目的

• 人的作業とエラーの発生が顕著なオントロジー工学（OE）活動を特定し、計算的支援の必要性を明らかにすること。
• LLM を活用した会話型フレームワークを設計し、OE における要件抽出、分析、検証を自動化すること。
• ドメインエキスパートとオントロジーデザイナー間の人的で複数参加型のやり取りに起因する体系的で曖昧さやバイアスを低減すること。
• フレームワークの有効性を評価し、特に Music Meta Ontology のような実世界のユースケースにおいて、オントロジー開発の速度向上と品質向上を実現すること。
• コミュニティの採用と LLM を活用したオントロジー工学分野におけるさらなる研究を支援するため、再現可能でオープンソースのプロトタイプを公開すること。

提案手法

• 24名のオントロジー工学者を対象に、OE タスクの難易度と人的作業量をランク付けするアンケートを実施。要件抽出と CQ 生成が自動化の対象として特に適していることが判明。
• LLM によるプロンプト駆動のワークフローを活用し、ユーザーがユーザーストーリー作成、CQ 抽出、CQ クラスタリング、オントロジー検証を支援する会話型エージェント「OntoChat」を構築。
• ドメインエキスパートの入力からユーザーストーリーを生成する LLM ベースのワークフロー、意味的に整合性があり範囲に整合した CQ を抽出するプロセス、そして主題ごとに CQ をグループ化する手法を実装。
• 微調整された LLM を用いて、支援される CQ と攻撃的（悪意のある）CQ を区別する分類モジュールを設計し、オントロジー検証の評価を実施。
• ユーザーが出力をフィードバックし、要件の反復的改善が可能となるフィードバックループを統合。これにより、初期段階の定義におけるバイアス低減を実現。
• オンラインプロトタイプをデプロイし、6名のドメインエキスパートおよび8名のオントロジー工学者を対象に、アンケートと制御された分類タスクを用いて評価を実施。

実験結果

リサーチクエスチョン

• RQ1 どのオントロジー工学タスクが計算的支援の必要性が最も高いと考えられるか？
• RQ2 LLM はどのように会話型オントロジー工学フレームワークを構築し、要件抽出、分析、検証を支援できるか？
• RQ3 LLM は、ユーザーストーリーおよびコンピテンシークエスチョン（CQ）生成における人的作業の削減と一貫性の向上にどの程度寄与できるか？
• RQ4 このフレームワークは、有効な CQ と無効な CQ を識別・分類する上でどの程度効果的か？

主な発見

• ドメインエキスパートの80％が、OntoChat が生成したユーザーストーリーが構造的で関連性があると評価し、6名中5名が手作業によるキュレーションより OntoChat を好んだ。
• オントロジー工学者の62.5％が CQ クラスタリング機能を直感的だと感じ、87.5％が生成されたクラスタが要件の意味的グループ化を適切に反映していると評価した。
• オントロジー検証モジュールは、支援される CQ の分類において 87.5％ の正確性を達成し、適合率（precision）は 88％、再現率（recall）は 85.7％ であった。
• 8名中6名のオントロジー工学者が CQ 生成の品質に満足していたが、2名はエンティティの範囲の正確性に問題を指摘しており、改良の余地があるとされた。
• ドメインエキスパートの50％が、ユーザーストーリーに含まれる例示データの品質に不満を示し、LLM プロンプトにおけるデータ合成の改善が求められていることを示した。
• 全参加者が、特に複数ステークホルダーが関与する共同作業の場面において、OntoChat がオントロジー工学における時間的・人的負担を大幅に削減する強力な可能性を秘めていると一致して評価した。