[논문 리뷰] From Shallow to Deep Interactions Between Knowledge Representation, Reasoning and Machine Learning (Kay R. Amel group)

Zied Bouraoui, Antoine Cornuéjols외 10명|arXiv (Cornell University)|2019. 12. 13.

Bayesian Modeling and Causal Inference참고 문헌 408인용 수 5

한 줄 요약

이 논문은 지식 표현 및 추론(KRR)과 기계 학습(ML) 간의 상호보완적 관계에 대한 기초적인 조사 보고서를 제안하며, 불확실성, 설명 가능성, 지식-데이터 균형 등 공통의 관심사들을 규명한다. 신경-기호 추론 및 규칙 기반 학습과 같은 하이브리드 방법론을 검토하고, 신뢰 함수, 지식 그래프 보완, 선언적 데이터 마이닝과 같은 프레임워크를 통해 KRR와 ML 간의 상호 강화 가능성을 입증하며, 상징적 AI와 통계적 AI 접근 방식 간 오랜 기간 지속된 갈등을 메우는 데 목적이 있다.

ABSTRACT

This paper proposes a tentative and original survey of meeting points between Knowledge Representation and Reasoning (KRR) and Machine Learning (ML), two areas which have been developing quite separately in the last three decades. Some common concerns are identified and discussed such as the types of used representation, the roles of knowledge and data, the lack or the excess of information, or the need for explanations and causal understanding. Then some methodologies combining reasoning and learning are reviewed (such as inductive logic programming, neuro-symbolic reasoning, formal concept analysis, rule-based representations and ML, uncertainty in ML, or case-based reasoning and analogical reasoning), before discussing examples of synergies between KRR and ML (including topics such as belief functions on regression, EM algorithm versus revision, the semantic description of vector representations, the combination of deep learning with high level inference, knowledge graph completion, declarative frameworks for data mining, or preferences and recommendation). This paper is the first step of a work in progress aiming at a better mutual understanding of research in KRR and ML, and how they could cooperate.

연구 동기 및 목표

• 지난 수십 년에 걸친 발전 차이에도 불구하고 지식 표현 및 추론(KRR)과 기계 학습(ML) 간의 공통 관심사와 개념적 겹침을 규명하기 위해.
• 기각 논리 프로그래밍, 신경-기호 시스템, 사례 기반 추론 등 추론과 학습을 통합하는 하이브리드 방법론을 조사하기 위해.
• 신뢰 함수의 회귀 적용, 지식 그래프 보완, 선언적 데이터 마이닝 프레임워크 등 KRR와 ML 간의 구체적 상호보완성을 입증하기 위해.
• 서로 다른 이해관계를 가진 KRR 및 ML 공동체 간의 상호 교류를 촉진하기 위해 상호 이해의 기반을 제공하기 위해.
• 특히 설명 가능성과 인과적 이해 분야에서 상징적 추론과 데이터 기반 학습을 통합하는 미래 연구의 기초를 마련하기 위해.

제안 방법

• 표현 유형, 지식 대 데이터의 역할, 불확실성, 설명의 필요성 등의 공통 관심사 조사.
• 기각 논리 프로그래밍, 형식적 개념 분석, 규칙 기반 ML, 신경-기호 추론 등의 하이브리드 패러다임 검토.
• 신뢰 함수 및 불확실한 확률 모델을 통한 확률론적 및 가능성론적 모델의 학습 통합 분석.
• 딥 러닝과 고수준 추론 및 상징적 추론의 통합, 특히 지식 그래프 보완 분야에서의 적용 분석.
• 논리적 제약 조건과 선호도를 학습 파이프라인에 통합하는 선언적 데이터 마이닝 프레임워크 탐색.
• 선호도 학습 및 유사 비례 추론을 통해 추론과 학습 간 다리를 놓는 방법 탐색, 특히 유틸리티 함수와 유사 비례를 통한 접근.

실험 결과

연구 질문

• RQ1 KRR와 ML 간의 역사적 분리에도 불구하고 핵심적인 공통 관심사는 무엇인가?
• RQ2 신경-기호 추론이나 기각 논리 프로그래밍과 같은 하이브리드 방법론이 어떻게 상징적 추론과 데이터 기반 학습을 효과적으로 통합할 수 있는가?
• RQ3 KRR는 해석 가능성, 인과적 이해, 분포 이동 처리 등에서 ML 시스템을 어떻게 향상시킬 수 있는가?
• RQ4 ML은 지식 표현 학습 또는 데이터 기반으로 상징적 지식를 정련하는 데 어떻게 KRR에 기여할 수 있는가?
• RQ5 상징적 접근과 비상징적 접근을 통합하는 데 있어 주요 과제는 무엇이며, 이를 공통 프레임워크를 통해 어떻게 해결할 수 있는가?

주요 결과

• KRR와 ML은 불확실성 모델링, 설명 생성, 불완전하거나 모호한 정보 처리 등 핵심적인 공통 관심사를 공유한다.
• 신경-기호 시스템과 규칙 기반 학습 프레임워크는 상징적 추론을 딥 러닝 및 데이터 기반 방법과 효과적으로 통합함을 보여준다.
• 지식 그래프 보완 및 선언적 데이터 마이닝 프레임워크는 상징적 제약 조건이 ML에서 일반화 능력과 해석 가능성 향상에 크게 기여할 수 있음을 시사한다.
• 신뢰 함수 및 불확실한 확률 모델은 회귀 및 학습 과제에서 불확실성 정량화에 강력한 도구를 제공한다.
• 유틸리티 함수 및 유사 비례를 통한 선호도 학습은 렉시코그래픽 또는 덧셈 가정 하에 부분적인 선호도 데이터로부터 새로운 비교를 유추할 수 있도록 한다.
• 본 논문은 현재의 ML 모델이 일반적으로 해석 가능성에 빈도가 낮고 치명적인 기억 상실 문제를 겪고 있으며, 이러한 한계를 보완하기 위해 KRR 통합의 강력한 필요성을 규명한다.