[논문 리뷰] Abductive Knowledge Induction From Raw Data

Wang-Zhou Dai, Stephen Muggleton|arXiv (Cornell University)|2020. 10. 07.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 원시 데이터로부터 신경망과 귀납적 일阶 논리 이론을 함께 학습하고, 문맥 상에서 새로운 기능을 창출하는 데 중점을 두어, 신경-기호적 프레임워크인 추론 기반 메타-해석 학습(Meta$_{Abd}$)을 소개한다. 메타-해석 학습 프레임워크 내에서 추론과 귀납을 통합함으로써 Meta$_{Abd}$는 최신 기술 대비 뛰어난 예측 정확도와 데이터 효율성을 달성하면서도, 해석 가능하고 재사용 가능한 논리 프로그램을 생성한다.

ABSTRACT

For many reasoning-heavy tasks involving raw inputs, it is challenging to design an appropriate end-to-end learning pipeline. Neuro-Symbolic Learning, divide the process into sub-symbolic perception and symbolic reasoning, trying to utilise data-driven machine learning and knowledge-driven reasoning simultaneously. However, they suffer from the exponential computational complexity within the interface between these two components, where the sub-symbolic learning model lacks direct supervision, and the symbolic model lacks accurate input facts. Hence, most of them assume the existence of a strong symbolic knowledge base and only learn the perception model while avoiding a crucial problem: where does the knowledge come from? In this paper, we present Abductive Meta-Interpretive Learning ($Meta_{Abd}$) that unites abduction and induction to learn neural networks and induce logic theories jointly from raw data. Experimental results demonstrate that $Meta_{Abd}$ not only outperforms the compared systems in predictive accuracy and data efficiency but also induces logic programs that can be re-used as background knowledge in subsequent learning tasks. To the best of our knowledge, $Meta_{Abd}$ is the first system that can jointly learn neural networks from scratch and induce recursive first-order logic theories with predicate invention.

연구 동기 및 목표

• 기존의 기호 지식 기반 시스템에 의존하지 않고 종단 간 신경-기호 시스템을 학습하는 데 도전하는 것.
• 원시적이고 부분 기호적인 입력으로부터 신경 인식 모델과 기호 논리 이론을 함께 학습할 수 있도록 하는 것.
• 신경 학습과 논리적 추론 및 귀납을 융합한 통합 프레임워크에서 기능 창출과 재귀적 이론 유도를 지원하는 것.
• 추론적 추론을 활용해 검색 공간을 단순화함으로써 추론 중심 작업에서 데이터 효율성과 예측 성능을 향상시키는 것.
• 후속 학습 작업에서 활용할 수 있는 해석 가능하고 재사용 가능한 논리 프로그램을 생성하는 것.

제안 방법

• Meta$_{Abd}$는 이미지나 시퀀스와 같은 원시 데이터로부터 확률적 논리적 사실을 추출하기 위해 신경망을 사용한다.
• 관측된 데이터를 만족하는 최소한의 설명을 찾는 방식으로, 귀납적 논리 프로그래밍을 활용해 이러한 사실의 진리값을 추론한다.
• 기계 학습 기반 일阶 논리 이론 유도를 위해 귀납적 논리 프로그래밍(ILP)과 메타-해석 학습을 융합하여, 재귀적이고 창출된 기능을 포함한 일阶 논리 이론을 도출한다.
• 신경망이 생성한 사실의 일관되지 않거나 부자연스러운 진리값 할당을 제거하기 위해 추론을 사용하여 논리 프로그램의 가설 공간을 제약한다.
• 인식과 추론의 균형을 맞추는 확률 모델을 활용해 신경 가중치와 논리 프로그램 가설을 함께 최적화한다.
• 커리큘럼 학습 전략을 적용하여, 예를 들어 '정렬된' 기능을 먼저 학습하고, 이를 더 복잡한 작업(예: 정렬)을 학습하는 데 재사용한다.

실험 결과

연구 질문

• RQ1 기존의 기호 지식 기반 시스템이 없이도 원시 데이터로부터 신경망과 일阶 논리 이론을 함께 학습할 수 있는 신경-기호 시스템은 가능한가?
• RQ2 시스템은 부분 기호적 입력으로부터 기능 창출과 재귀적 논리 프로그램을 유도할 수 있는가?
• RQ3 기존의 신경-기호 모델 대비 추론을 통합함으로써 데이터 효율성과 예측 정확도가 향상되는가?
• RQ4 학습된 논리 프로그램과 신경 모델은 후속 작업에서 재사용 가능한가?
• RQ5 강력한 사전 기호 지식에 의존하는 모델과 비교해, 약한 배경 지식 조건 하에서 Meta$_{Abd}$는 어떻게 성능을 발휘하는가?

주요 결과

• Meta$_{Abd}$는 NeuralSort와 NLM보다 정렬 작업에서 뛰어난 성능을 보이며, 더 약한 배경 지식을 사용함에도 불구하고 유의미하게 높은 정확도를 달성한다.
• 시스템은 20개 미만의 학습 예제로 '정렬된' 개념을 학습(예: 기능 s로 표현)하여 매우 높은 데이터 효율성을 입증한다.
• Meta$_{Abd}$는 그림 3(a)에 나타나 있듯이, 창출된 기능 s_1를 포함한 재귀적 논리 프로그램을 성공적으로 도출한다.
• 신경 모델(nn_pred)은 방향(예: '크다' 또는 '작다')에 대한 지도 학습 없이도 MNIST 이미지 간 이원 관계를 부분적으로 학습함으로써 강력한 인식 학습 능력을 보여준다.
• '정렬'을 위한 학습된 논리 프로그램과 신경 인식 모델이 정렬 작업에서 성공적으로 재사용되었으며, 이는 재사용성과 모odu lar성의 확인을 의미한다.
• NLM는 유효한 인식 모델이나 정렬 알고리즘을 학습하지 못했으며(성공률 0.0%), 이는 Meta$_{Abd}$의 뛰어난 학습 안정성과 효율성을 강조한다.