[논문 리뷰] The Integration of Connectionism and First-Order Knowledge Representation and Reasoning as a Challenge for Artificial Intelligence

Sebastian Bader, Pascal Hitzler외 1명|ArXiv.org|2004. 08. 31.

Logic, Reasoning, and Knowledge참고 문헌 39인용 수 14

한 줄 요약

이 논문은 일阶 논리 프로그램을 연결주의 시스템과 통합하기 위한 프레임워크를 제안한다. 논리 프로그램은 그들의 단일 스텝(즉각적 결과) 연산자로 표현되며, 실수 값 함수로 변환되고, 시그모이드 활성화 함수를 사용하는 피드포워드 신경망을 통해 근사된다. 주요 기여는 상징적 논리와 연결주의 학습을 연결하는 이론적 기반을 제공함으로써, 연속적이고 미분 가능한 시스템 내에서도 논리적 의미를 유지하면서 구조적 추론을 가능하게 한다. 또한 학습과 규칙 추출이 가능하다.

ABSTRACT

Intelligent systems based on first-order logic on the one hand, and on artificial neural networks (also called connectionist systems) on the other, differ substantially. It would be very desirable to combine the robust neural networking machinery with symbolic knowledge representation and reasoning paradigms like logic programming in such a way that the strengths of either paradigm will be retained. Current state-of-the-art research, however, fails by far to achieve this ultimate goal. As one of the main obstacles to be overcome we perceive the question how symbolic knowledge can be encoded by means of connectionist systems: Satisfactory answers to this will naturally lead the way to knowledge extraction algorithms and to integrated neural-symbolic systems.

연구 동기 및 목표

• 상징적 일阶 논리 추론과 연결주의 신경망 간의 통합 문제를 해결하기 위해, 이 둘은 표현 방식과 계산 방식에서 근본적으로 다름.
• 연결주의 시스템이 구조적 대상과 재귀적 과정을 표현하고 추론할 수 있도록 하여, 기존 표준 신경망에서 제한되어 있는 능력을 극복.
• 논리 프로그램의 의미 연산자에 기반해 논리 프로그램을 신경망으로 매핑하는 형식적 프레임워크를 개발하여, 연속적인 벡터 공간 내에서 논리적 의미를 유지.
• 논리와 연결주의를 통합함으로써 학습, 규칙 추출, 효율적 추론이 가능한 하이브리드 시스템을 위한 기반을 마련.
• 특히 비단조화적 및 일阶 논리 환경에서 복잡한 논리적 추론 과정을 신경망이 근사할 수 있는지의 가능성을 탐색.

제안 방법

• 일阶 논리 프로그램을 그들의 단일 스텝(즉각적 결과) 연산자로 표현하여, 해석에서 새로운 해석으로의 사상으로서 표현.
• 이 연산자들을 실수에 대한 함수로 매핑하여 논리적 추론의 연속적 표현 가능성을 확보.
• 결과적으로 얻어진 실수 값 함수를 시그모이드 활성화 함수를 사용하는 피드포워드 신경망을 통해 근사.
• 이산적 논리적 구조를 연속적인 실수 값 공간에 통합하기 위한 위상적 기반으로 캄토어 공간을 사용.
• 다타로그 및 전체 일阶 논리에서 변수 바인딩과 해석 모델링을 지원하기 위해 단계적 코딩을 적용한 순환 신경망 활용.
• 집합론적 위상수학과 반복 함수 시스템 기법을 활용하여 논리 연산자의 신경망 근사의 수렴성과 안정성 분석.

실험 결과

연구 질문

• RQ1 함수 기호를 포함한 일阶 논리 프로그램은 유한하고 연속적인 연결주의 아키텍처에 어떻게 표현될 수 있는가?
• RQ2 연산자 기반 매핑을 통해 신경망이 일阶 논리 추론의 의미를 충실하게 근사할 수 있는가?
• RQ3 통합된 시스템 내에서 상징적 추론과 연결주의 학습을 융합하기 위한 이론적 프레임워크는 무엇인가?
• RQ4 이러한 하이브리드 시스템에서 학습과 규칙 추출은 어떻게 달성될 수 있는가?
• RQ5 연결주의 시스템은 비단조화적 추론과 재귀적 구조를 효과적으로 처리할 수 있는가?

주요 결과

• 일阶 논리 프로그램의 단일 스텝 연산자는 실수 값 함수로 매핑될 수 있으며, 이는 시그모이드 활성화 함수를 사용하는 피드포워드 신경망을 통해 근사 가능하다.
• 캄토어 공간은 이산적 논리적 구조를 연속적인 벡터 공간에 통합하기 위한 위상적 기반을 제공하여, 상징적 지식의 연결주의적 표현을 가능하게 한다.
• 이론적 결과에 따르면, 적절한 조건 하에서 신경망은 함수 기호를 포함한 논리 프로그램의 의미를 근사할 수 있다.
• 순환 네트워크에서의 단계적 코딩은 변수 바인딩을 가능하게 하여, 기호적 양자화를 다루는 데 필수적인 조건을 충족시킨다.
• 기본 및 취소 가능한 논리로의 연산자 근사 접근법 확장은 비단조화적 추론을 지원한다.
• 통합은 학습과 규칙 추출을 가능하게 하며, 훈련된 신경망으로부터 논리 규칙을 역공학적으로 복원할 수 있음이 입증되었다.