[논문 리뷰] A Boxology of Design Patterns for Hybrid Learning and Reasoning Systems

Frank van Harmelen, Annette ten Teije|Digital Academic REpository of VU University Amsterdam (Vrije Universiteit Amsterdam)|2019. 05. 29.

Business Process Modeling and Analysis인용 수 9

한 줄 요약

이 논문은 기계학습(ML)과 지식 표현(KR)을 통합하는 하이브리드 학습 및 추론 시스템을 체계화하기 위해 '박스올로지(boxology)'라는 구성적 설계 패턴 프레임워크를 소개한다. 특정 알고리즘에 얽매이지 않고 ML과 상징적 구성 요소 간의 기능적 상호작용에 초점을 맞추어, 신경-기호 시스템의 구조적 다양성을 포괄하는 15개의 핵심 패턴을 규명하였다. 이는 50여 편이 넘는 최근 논문들에서 검증되었으며, 하이브리드 AI 시스템의 이해, 재사용, 설계를 보다 명확히 할 수 있도록 한다.

ABSTRACT

We propose a set of compositional design patterns to describe a large variety of systems that combine statistical techniques from machine learning with symbolic techniques from knowledge representation. As in other areas of computer science (knowledge engineering, software engineering, ontology engineering, process mining and others), such design patterns help to systematize the literature, clarify which combinations of techniques serve which purposes, and encourage re-use of software components. We have validated our set of compositional design patterns against a large body of recent literature.

연구 동기 및 목표

• 하이브리드 학습 및 추론 시스템에 관한 문헌에서 증가하는 복잡성과 분열을 해결하기 위해 통합적 개념적 프레임워크를 마련하기 위해.
• 기계학습과 상징적 추론을 조합하는 다양한 접근 방식을 체계화하기 위해. 이는 종종 서로 다른 연구 공동체에서 개별적으로 개발되기 때문이다.
• 특정 알고리즘이나 형식 체계에 의존하지 않는, 재사용 가능한 추상적 프레임워크를 제공하기 위해. 이는 하이브리드 시스템의 기능적 아키텍처를 포괄한다.
• 50여 편이 넘는 최근 논문을 광범위하게 샘플링하여 프레임워크를 검증함으로써, 분석된 모든 시스템이 제안된 패턴 집합 내에 분류될 수 있음을 입증하기 위해.
• 미래의 연구, 교육, 설계를 지원하기 위해, 하이브리드 AI 시스템 아키텍처의 비교, 설명, 확장이 보다 명확해지도록 하기 위해.

제안 방법

• 기계학습(ML)과 지식 표현(KR) 구성 요소가 하이브리드 시스템 내에서 상호작용하는 방식을 기술하는 15개의 구성적 설계 패턴의 분류 체계를 제안한다.
• ML과 KR 구성 요소 간의 기능적 흐름과 데이터 종속성을 표현하기 위해 도식적 표기법을 사용하며, 이를 통해 실제 구현 세부 사항보다 아키텍처의 조합에 초점을 맞춘다.
• 기본 패턴들(예: ML sym, sym ML, sym sym, ML ML)을 복잡한 구성, 예를 들어 순차적 또는 비순차적 조합의 구축 블록으로 정의한다.
• 다양한 학술 회의(예: AAAI, NIPS, IJCAI)에서 발표된 50여 편의 최근 논문에 패턴 집합을 적용하여 검증함으로써, 코퍼스에 포함된 각 시스템이 15개 패턴 중 하나에 정확히 매핑됨을 확인한다.
• 기능적 추상화에 중점을 두며, 패턴은 구성 요소 간의 역할과 데이터 흐름에 의해 정의되며, 내부에서 사용되는 특정 수학적 또는 알고리즘적 기법에 따라 정의되지 않는다.
• 미래의 확장으로서, 문법 규칙을 통한 모든 문법적으로 유효한 패턴 조합의 생성과 인간-중심의 루프 구성 요소를 하이브리드 지능 시스템에 통합하는 것을 제안한다.

실험 결과

연구 질문

• RQ1 형식 체계, 알고리즘, 공동체 기원의 차이가 있음에도 불구하고, 하이브리드 학습 및 추론 시스템에 관한 광범위하고 이질적인 연구 집단을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 최근 문헌에서 기술된 대부분의 뉴로-기호 시스템을 뒷받침하는 기본적인 아키텍처 구성은 무엇인가?
• RQ3 특정 알고리즘이나 표현 방식에 의존하지 않고, 소수의 추상적 설계 패턴이 하이브리드 학습 및 추론 시스템의 전체적인 구조적 다양성을 얼마나 잘 포괄할 수 있는가?
• RQ4 이 패턴 기반 프레임워크가 하이브리드 AI 시스템의 규정적 설계, 교육, 향후 혁신의 기초로 기능할 수 있는가?
• RQ5 이 프레임워크는 인지 아키텍처와 인간-AI 협업에서 상징적 추론과 기계학습의 역할을 이해하는 데 어떤 함의를 지니는가?

주요 결과

• 제안된 15개의 구성적 설계 패턴은 최근 문헌에서 분석한 50여 개의 하이브리드 시스템을 모두 성공적으로 포괄하여, 프레임워크의 완전성을 입증한다.
• 패턴들은 특정 기법(예: 다양한 유형의 신경망 또는 논리 형식 체계)에서 벗어나, 기능적 역할과 데이터 흐름에 중점을 두어, 서로 다른 파라다임 간의 비교 및 재사용을 가능하게 한다.
• 프레임워크는 반복적인 아키텍처 모티프를 드러내며, 예를 들어 [9] 및 [45]와 같은 시스템에서 관찰되듯이, 상징적 표현을 중간 추상화로 사용하여 학습 효율성과 강건성을 향상시키는 것을 확인한다.
• 신경망이 논리적 추론을 수행하도록 훈련되는 패턴 (ML sym) 은 널리 사용되는 구성으로, RDF 기반 추론, 서술 논리, 논리 프로그래밍 등의 접근 방식을 포함한다.
• 문법 기반의 유효한 패턴 조합 생성을 통해, 새로운 탐색되지 않은 아키텍처 조합을 식별할 수 있으며, 이는 새로운 연구 방향을 제안한다.
• 이 방법은 이미 두 해 동안의 연구 세미나에서 교육적 도구로 효과적으로 입증되었으며, 교육 및 지식 전파 분야에서의 실용적 유용성을 보여준다.