[논문 리뷰] Modular Design Patterns for Hybrid Learning and Reasoning Systems: a taxonomy, patterns and use cases

Michael van Bekkum, Maaike de Boer외 3명|arXiv (Cornell University)|2021. 02. 23.

AI-based Problem Solving and Planning참고 문헌 64인용 수 13

한 줄 요약

이 논문은 하이브리드 뉴로심볼릭 AI 시스템을 위한 분류 체계와 15개 이상의 모듈러 설계 패턴을 제안하며, 학습과 추론을 통합하는 시스템의 체계적 아키텍처 기술, 비교 및 공학적 설계를 가능하게 한다. 구성 요소를 기본형 및 복합형 패턴으로 정리함으로써 다양한 시스템 간의 숨겨진 유사성을 드러내고 재사용 가능하며 설명 가능한 AI 설계를 지원한다.

ABSTRACT

The unification of statistical (data-driven) and symbolic (knowledge-driven) methods is widely recognised as one of the key challenges of modern AI. Recent years have seen large number of publications on such hybrid neuro-symbolic AI systems. That rapidly growing literature is highly diverse and mostly empirical, and is lacking a unifying view of the large variety of these hybrid systems. In this paper we analyse a large body of recent literature and we propose a set of modular design patterns for such hybrid, neuro-symbolic systems. We are able to describe the architecture of a very large number of hybrid systems by composing only a small set of elementary patterns as building blocks. The main contributions of this paper are: 1) a taxonomically organised vocabulary to describe both processes and data structures used in hybrid systems; 2) a set of 15+ design patterns for hybrid AI systems, organised in a set of elementary patterns and a set of compositional patterns; 3) an application of these design patterns in two realistic use-cases for hybrid AI systems. Our patterns reveal similarities between systems that were not recognised until now. Finally, our design patterns extend and refine Kautz' earlier attempt at categorising neuro-symbolic architectures.

연구 동기 및 목표

• 데이터 기반 및 지식 기반 접근 방식을 융합하는 하이브리드 뉴로심볼릭 AI 시스템에 대한 통합 개념적 프레임워크 부족 문제를 해결한다.
• 기계 학습, 지식 기반 시스템 등 AI 공동체 간의 소통 격차를 해소하기 위해 공통의 체계화된 어휘를 제공한다.
• 일련의 추상적이고 조합 가능한 설계 패턴을 통해 복잡한 하이브리드 AI 시스템의 모듈러하고 재사용 가능한 공학 설계를 가능하게 한다.
• Kautz의 뉴로심볼릭 아키텍처 분류 체계와 같은 이전 분류를 더 세밀하고 실용적인 프레임워크로 개선·확장한다.
• 실제 사례 적용을 통해 실용성을 입증한다: 스킬 매칭 및 로봇 동작 선택 두 가지 실용적 사례

제안 방법

• 하이브리드 AI 시스템의 프로세스, 데이터 구조, 주체, 구성 요소를 기술하기 위한 체계화된 어휘를 개발한다.
• 기본형 패턴(예: 심볼 기반, 신경-심볼릭 통합)과 복합형 패턴(예: 피드백 루프, 다단계 추론)을 포함한 15개 이상의 모듈러 설계 패턴을 정의한다.
• 시스템 구성 요소와 상호작용을 표현하기 위해 시각적 표기법(박스올로지)을 사용하며, 학습(ML)과 지식 표현(KR) 구성 요소를 구분한다.
• 최근 문헌에 등장한 다양한 하이브리드 AI 시스템을 분석하고 기술함으로써, 이전에 인식되지 않았던 아키텍처 유사성을 드러낸다.
• 두 가지 세부 사례를 통해 프레임워크를 검증한다: 채용에서의 스킬 매칭 및 로봇 동작 선택, 모두 복합형 패턴을 사용해 기술한다.
• 미래 확장 방안으로 인간이 참여하는 시스템의 주체 모델링 및 패턴 조합의 형식적 검증을 위한 생성 문법 개발을 제안한다.

실험 결과

연구 질문

• RQ1 다양한 하이브리드 학습 및 추론 시스템의 아키텍처를 기술하고 비교하기 위해 통합적이고 모듈러한 프레임워크를 어떻게 수립할 수 있는가?
• RQ2 신경망과 심볼릭 구성 요소의 통합을 체계적으로 표현할 수 있는 기본형 및 복합형 설계 패턴의 조합은 무엇인가?
• RQ3 기존 하이브리드 AI 시스템들이 현재 용어적·개념적 분열로 인해 인식되지 않는 한계까지 공통적인 아키텍처 패턴을 얼마나 공유하고 있는가?
• RQ4 제안된 설계 패턴이 설명 가능하고 신뢰할 수 있으며 신뢰할 수 있는 하이브리드 AI 시스템의 공학 설계를 어떻게 지원할 수 있는가?
• RQ5 인간이 참여하는 상호작용 및 시스템 조합의 형식적 검증과 같은 복잡한 시스템 기능을 지원하기 위해 어떤 확장이 필요한가?

주요 결과

• 제안된 분류 체계와 설계 패턴은 소수의 재사용 가능한 구성 요소만으로 최근 하이브리드 AI 시스템의 다수를 성공적으로 기술하며, 숨겨진 아키텍처 공통점을 드러낸다.
• 이 프레임워크는 기술적 구현 세부 정보에서 벗어나 기능적 및 구조적 통찰을 유지하면서도 복잡한 시스템의 고수준 추상적 기술을 가능하게 한다.
• 설계 패턴은 Kautz의 이전 뉴로심볼릭 분류 체계를 모듈성, 조합성 및 실용적 공학적 유용성 측면에서 확장·개선한다.
• 스킬 매칭 및 로봇 동작 선택이라는 두 사례는 패턴이 의사소통 가능하고 블루프린트처럼 활용 가능한 시스템 설계를 만들 수 있음을 보여준다.
• 이 연구는 향후 형식적 검증 방법 개발의 기초를 제공하며, 예를 들어 패턴 조합을 위한 생성 문법 및 논리 계산법 개발에 기여한다.
• 이 프레임워크는 설명 가능하고 신뢰할 수 있으며 신뢰할 수 있는 시스템을 설계 단계부터 고려한 AI 시스템 설계 비전을 뒷받침하며, 인증 및 품질 관리 가능성도 지닌다.