[논문 리뷰] Standardizing Knowledge Engineering Practices with a Reference Architecture

Bradley P. Allen, Filip Ilievski|arXiv (Cornell University)|2023. 09. 19.

Semantic Web and Ontologies인용 수 2

한 줄 요약

이 논문은 지식 공학(KE) 관행을 표준화하기 위해 상자학(박스올로지)과 신경기호 시스템에서 유래한 체계적 설계 패턴을 사용자 요구사항과 품질 특성과 통합함으로써 여섯 단계로 구성된 참조 아키텍처(RA) 프레임워크를 제안한다. 이 방법은 특정 용도에 맞게 반복적인 설계, 구현 및 평가가 가능한 RA를 가능하게 하며, 최종적으로는 지식 공학, 소프트웨어 아키텍처, 데이터 과학 분야 간 격차를 메우는 오픈소스 소프트웨어 기반 아키텍처를 생성한다. 이는 KE 워크플로우를 체계화한다.

ABSTRACT

Knowledge engineering is the process of creating and maintaining knowledge-producing systems. Throughout the history of computer science and AI, knowledge engineering workflows have been widely used given the importance of high-quality knowledge for reliable intelligent agents. Meanwhile, the scope of knowledge engineering, as apparent from its target tasks and use cases, has been shifting, together with its paradigms such as expert systems, semantic web, and language modeling. The intended use cases and supported user requirements between these paradigms have not been analyzed globally, as new paradigms often satisfy prior pain points while possibly introducing new ones. The recent abstraction of systemic patterns into a boxology provides an opening for aligning the requirements and use cases of knowledge engineering with the systems, components, and software that can satisfy them best. This paper proposes a vision of harmonizing the best practices in the field of knowledge engineering by leveraging the software engineering methodology of creating reference architectures. We describe how a reference architecture can be iteratively designed and implemented to associate user needs with recurring systemic patterns, building on top of existing knowledge engineering workflows and boxologies. We provide a six-step roadmap that can enable the development of such an architecture, providing an initial design and outcome of the definition of architectural scope, selection of information sources, and analysis. We expect that following through on this vision will lead to well-grounded reference architectures for knowledge engineering, will advance the ongoing initiatives of organizing the neurosymbolic knowledge engineering space, and will build new links to the software architectures and data science communities.

연구 동기 및 목표

• 지식 공학(KE) 워크플로우를 사용자 필요사항, 품질 특성, 신경기호 시스템 및 대규모 언어 모델과 같은 새로운 패러다임과 통합하는 종합적이고 원리에 기반한 프레임워크의 부재를 해결하기 위해.
• 기존 KE 워크플로우와 상자학에서 유래한 반복적인 체계적 패턴 및 최선의 실천 방법을 통합함으로써 이질적인 KE 관행을 체계화하기 위해.
• 사용자 요구사항과 품질 특성에 기반한 아키텍처 결정을 통해 지식 공학, 소프트웨어 아키텍처, 데이터 과학 분야 간 격차를 메우기 위해.
• 특정 용도와 도메인에 맞게 설계, 평가, 구현 가능한 참조 아키텍처(RA)를 위한 정의된, 반복 가능한 로드맵을 제공하기 위해.

제안 방법

• 대표적인 KE 작업과 용도를 통해 아키텍처 범위를 정의하며, 23개의 품질 특성과 8개의 기능적 요구사항을 추출한다.
• 최근에 식별된 신경기호 KE 패턴의 상자학과 기존 지식 그래프 툴킷(예: KGTK)과 같은 정보 소스를 선정하여 패턴 추출을 수행한다.
• 품질 특성과 기능적 요구사항을 식별된 체계적 패턴에 매핑하고, 지원 수준을 평가함으로써 아키텍처 분석을 수행한다.
• 소프트웨어 공학 원칙과 이전 RA 성공 사례를 바탕으로 패턴과 요구사항을 반복적으로 통합하여 참조 아키텍처를 융합한다.
• 대표적 사용자와 실제 KE 작업을 통해 RA를 구현하고, 피드백 기반으로 개선함으로써 평가를 수행한다.
• 최종 RA를 구체적이고 오픈소스 소프트웨어 아키텍처로 구현하여 배포 및 커뮤니티 수용을 목적으로 한다.

실험 결과

연구 질문

• RQ1 지식 공학에서 유래한 체계적 설계 패턴을 사용자 요구사항과 품질 특성에 체계적으로 매핑하여 일관된 참조 아키텍처를 형성할 수 있는가?
• RQ2 상자학과 신경기호 시스템 패턴은 표준화된 지식 공학 참조 아키텍처 설계에 어떤 역할을 하는가?
• RQ3 실제 용도와 이해관계자 피드백을 활용하여 참조 아키텍처를 반복적으로 개발하고 평가하며 개선할 수 있는가?
• RQ4 참조 아키텍처는 생물의학, 공감각 추론, 기업 지식 그래프와 같은 다양한 도메인 내에서 다양한 지식 공학 워크플로우를 어느 정도 통합할 수 있는가?
• RQ5 기존 KE 툴킷과 워크플로우를 원리에 기반한 아키텍처 프레임워크와 통합하는 데 있어 핵심 과제와 격차는 무엇인가?

주요 결과

• 논문은 소프트웨어 공학 관행과 사용자 요구사항에 기반한 여섯 단계의 로드맵을 제시하여 지식 공학에서 참조 아키텍처를 설계, 평가, 구현하는 데 기여한다.
• 초기 아키텍처 분석을 통해 신경기호 KE 상자학에서 유래한 체계적 패턴에 23개의 품질 특성과 8개의 기능적 요구사항을 매핑하였으며, 지원 수준이 높거나 낮은 요구사항을 식별하였다.
• 참조 아키텍처의 융합 과정은 패턴, 요구사항, 대표적 사용자로부터의 피드백을 반복적으로 통합하는 과정으로, 실제 용도에 부합하는 설계를 보장한다.
• 평가 단계는 이해관계자들과 함께 대표적 KE 작업을 통해 RA를 구현하고, 시범 시험을 통해 성능과 품질을 평가하는 데 중점을 둔다.
• 최종적으로 소프트웨어 아키텍처로의 구현은 오픈소스로 제공되고 철저히 문서화되어 있어 커뮤니티의 수용과 확장이 가능하도록 한다.
• 제안된 프레임워크는 아키텍처 패턴을 사용자 필요사항과 연결함으로써 KE 관행을 체계화할 수 있는 메커니즘을 제공하며, 격차를 식별하고 확장 가능한 표준화된 개발을 가능하게 한다.