[논문 리뷰] Knowledge Engineering using Large Language Models

Bradley P. Allen, Lise Stork외 1명|arXiv (Cornell University)|2023. 10. 01.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 대형 언어 모델이 지식 공학을 어떻게 발전시킬 수 있는지 탐구하고, 두 가지 경로를 제시한다: 하이브리드 신경-상징 시스템과 프롬프트 엔지니어링을 통한 자연어 기반의 지식 공학, 그리고 열려 있는 연구 질문을 제시한다.

ABSTRACT

Knowledge engineering is a discipline that focuses on the creation and maintenance of processes that generate and apply knowledge. Traditionally, knowledge engineering approaches have focused on knowledge expressed in formal languages. The emergence of large language models and their capabilities to effectively work with natural language, in its broadest sense, raises questions about the foundations and practice of knowledge engineering. Here, we outline the potential role of LLMs in knowledge engineering, identifying two central directions: 1) creating hybrid neuro-symbolic knowledge systems; and 2) enabling knowledge engineering in natural language. Additionally, we formulate key open research questions to tackle these directions.

연구 동기 및 목표

• 지식이 자연어와 형식 언어로 표현될 수 있는 방식과 왜 LLM이 KE에 중요한지 설명한다.
• KE에서 LLM을 구성요소로 두 가지 전향적 경로를 제시한다: KE의 구성요소로서의 LLM과 프롬프트 엔지니어링을 통한 KE.
• LLM 기반 KE의 방법론, 아키텍처, 평가를 포괄하는 미해결 연구 질문을 개요한다.
• 도메인에 구애받지 않는 함의에 대해 논의하고 도전과제를 설명하기 위해 생물다양성에 초점을 맞춘 사례를 제시한다.

제안 방법

• 지식의 형태와 그것이 KE 실천에 어떻게 정보를 제공하는지 설명하고, 생물다양성을 다중모달 예시로 제시한다.
• LLMs가 자연어에서 형식적 표현으로의 변환을 가능하게 하여 KE 작업을 가능하게 한다고 주장한다.
• 두 가지 시나리오를 제시한다: 하이브리드 신경-기호 시스템 내에서 KE 구성요소로서의 LLM 사용과 자연어 프롬프트 엔지니어링을 통한 KE.
• KE 작업을 CommonKADS 프레임워크에 매핑하고 LLM과 프롬프트를 수용하기 위한 확장에 대해 논의한다.
• LLMs를 KE 워크플로에 통합하기 위한 설계 패턴과 아키텍처적 고려사항을 식별한다.
• 방법론, 아키텍처, 데이터 관리, 인지 규범, 노동경제학에 걸친 미해결 연구 질문을 강조한다.

Figure 1 . A specimen of the Loligo vulgaris Lamarck, 1798 species from the Naturalis–Zoology and Geology catalogues. 2 2 2 https://bioportal.naturalis.nl/nl/specimen/RMNH.MOL.5009890 Images free of known restrictions under copyright law (Public Domain Mark 1.0).

실험 결과

연구 질문

• RQ1 신뢰성과 재현성을 보전하면서 LLM을 통합하기 위해 KE가 어떤 방법론을 채택해야 하는가?
• RQ2 프롬프트 엔지니어링 패턴이 추론을 지원하고 제어 가능하고 반복 가능한 KE 프로세스를 유지하도록 어떻게 할 수 있는가?
• RQ3 하이브리드 신경-상징 아키텍처가 추적 가능성과 검증 가능성을 희생하지 않으면서 LLM을 어떻게 통합해야 하는가?
• RQ4 LLM 기반 KE에서 프롬프트와 출력의 FAIR 유사한 처리를 보장하기 위해 필요한 데이터 관리와 원천 증명 실천은 무엇인가?
• RQ5 실무에서 LLM 주도 KE를 배치함으로써 어떤 인지 규범과 노동경제학적 함의가 생기는가?

주요 결과

• LLMs는 자연어 지식을 형식적 표현 및 기타 모달리티로 변환하는 범용 도구를 제공한다.
• LLM을 활용한 KE에 대해 두 가지 시나리오가 실현 가능하다: LLM을 KE 구성요소로 사용하고 KE 작업을 자연어에서의 프롬프트 엔지니어링 문제로 다루는 것.
• CommonKADS는 지식 집약적 작업 워크플로에 LLM을 통합하기 위한 출발 프레임워크를 제공하며, 프롬프ㅗ트는 지식 도출, 조직 및 테스트를 안내한다.
• 프롬프트 엔지니어링은 도메인 전문가가 자연어로 직접 기여하도록 하여 KE 채택의 장벽을 낮출 가능성이 있다.
• 도전 과제로는 환각, 편향, 신뢰, LLM 기반 KE에서 원천 증명 및 재현성의 필요성이 포함된다.
• 생물다양성 사례는 다중모달 지식(이미지, 텍스트, 분류체계)을 보여주고 형식화에서 상호운용성, 데이터 표준 및 도메인 전문 지식의 필요성을 시사한다.

Figure 2 . Hierarchy of knowledge-intensive task types from CommonKADS ( [ 86 ] , p.125)