[論文レビュー] Standardizing Knowledge Engineering Practices with a Reference Architecture

Bradley P. Allen, Filip Ilievski|arXiv (Cornell University)|Sep 19, 2023

Semantic Web and Ontologies被引用数 2

ひとこと要約

本稿は、ボックスロジーと神経記号的システムから抽出されたシステミックな設計パターンを、ユーザー要件と品質特性と整合させることで、知識工学（KE）の実践を標準化する六段階のリファレンスアーキテクチャ（RA）フレームワークを提案する。このアプローチにより、特定のユースケースに適合した反復的設計、インスタンス化、評価が可能となり、最終的にオープンソースでソフトウェア実装されたアーキテクチャが得られ、KEワークフローを体系化し、知識工学、ソフトウェアアーキテクチャ、データサイエンスのコミュニティ間のギャップを埋める。

ABSTRACT

Knowledge engineering is the process of creating and maintaining knowledge-producing systems. Throughout the history of computer science and AI, knowledge engineering workflows have been widely used given the importance of high-quality knowledge for reliable intelligent agents. Meanwhile, the scope of knowledge engineering, as apparent from its target tasks and use cases, has been shifting, together with its paradigms such as expert systems, semantic web, and language modeling. The intended use cases and supported user requirements between these paradigms have not been analyzed globally, as new paradigms often satisfy prior pain points while possibly introducing new ones. The recent abstraction of systemic patterns into a boxology provides an opening for aligning the requirements and use cases of knowledge engineering with the systems, components, and software that can satisfy them best. This paper proposes a vision of harmonizing the best practices in the field of knowledge engineering by leveraging the software engineering methodology of creating reference architectures. We describe how a reference architecture can be iteratively designed and implemented to associate user needs with recurring systemic patterns, building on top of existing knowledge engineering workflows and boxologies. We provide a six-step roadmap that can enable the development of such an architecture, providing an initial design and outcome of the definition of architectural scope, selection of information sources, and analysis. We expect that following through on this vision will lead to well-grounded reference architectures for knowledge engineering, will advance the ongoing initiatives of organizing the neurosymbolic knowledge engineering space, and will build new links to the software architectures and data science communities.

研究の動機と目的

• 知識工学（KE）ワークフローをユーザーのニーズ、品質特性、神経記号的システムや大規模言語モデルといった新たなパラダイムと整合させる包括的で原則に裏打ちされたフレームワークの欠如に対処すること。
• 既存のKEワークフローとボックスロジーからの繰り返し現れるシステミックなパターンやベストプラクティスを統合することで、多様なKE実践を体系化するリファレンスアーキテクチャ（RA）を構築すること。
• ユーザー要件と品質特性に基づいたアーキテクチャ意思決定を通じて、知識工学、ソフトウェアアーキテクチャ、データサイエンスの間のギャップを埋めること。
• 特定のユースケースおよびドメインに適合したRAの設計、評価、実装を支援する記述的で反復的なロードマップを提供すること。

提案手法

• 代表的なKEタスクとユースケースを通じたアーキテクチャ的範囲の定義。23の品質特性と8つの機能要件の抽出を含む。
• 神経記号的KEパターンのボックスロジーと既存の知識グラフツールキット（例：KGTK）など、情報源の選定。パターン抽出に活用。
• 品質特性と機能要件を特定されたシステミックなパターンにマッピングし、支援度のレベルを評価することで、アーキテクチャ的分析を実施。
• ソフトウェア工学の原則と過去のRA成功事例を根拠に、パターンと要件の反復的統合を通じてリファレンスアーキテクチャを合成。
• 代表的なユーザーと現実世界のKEタスクを用いたRAのインスタンス化による評価。その後、フィードバックに基づいた改善を実施。
• 最終的なRAを具体的なオープンソースのソフトウェアアーキテクチャにインスタンス化し、展開とコミュニティの採用を目的とする。

実験結果

リサーチクエスチョン

• RQ1 知識工学からのシステミックな設計パターンを、ユーザー要件と品質特性に体系的にマッピングすることで、整合性のあるリファレンスアーキテクチャを構築する方法は何か？
• RQ2 ボックスロジーと神経記号的システムのパターンは、標準化された知識工学リファレンスアーキテクチャの設計にどのような役割を果たすか？
• RQ3 現実世界のユースケースとステークホルダーのフィードバックを用いて、リファレンスアーキテクチャを反復的に開発・評価・改善する方法は何か？
• RQ4 リファレンスアーキテクチャは、ライフサイエンス、常識的推論、企業知識グラフといった分野における多様な知識工学ワークフローをどの程度統合できるか？
• RQ5 現在のKEツールキットとワークフローを、原則に裏打ちされたアーキテクチャフレームワークと整合化するにあたり、主な課題とギャップは何か？

主な発見

• 本稿は、ソフトウェア工学の実践とユーザー要件に基づいた、KEにおけるリファレンスアーキテクチャの設計・評価・実装の六段階のロードマップを確立した。
• 初期のアーキテクチャ的分析により、神経記号的KEボックスロジーからのシステミックなパターンに23の品質特性と8つの機能要件がマッピングされ、支援度の高い要件と不足している要件が特定された。
• リファレンスアーキテクチャの合成は、パターン、要件、代表的なユーザーからのフィードバックを統合する反復的プロセスであり、現実世界のユースケースとの整合性を保証する。
• 評価フェーズでは、ステークホルダーを対象に代表的なKEタスクでRAをインスタンス化し、パイロット試行を通じて性能と品質の評価を実施。
• 最終的なインスタンス化は、オープンソース化され、詳細なドキュメンテーションが施される予定であり、コミュニティによる採用と拡張を可能にする。
• 提案されたフレームワークは、アーキテクチャパターンをユーザーのニーズに結びつけることで、KE実践の体系化を可能にし、ギャップの特定とスケーラブルで標準化された開発の実現を可能にする。