[논문 리뷰] Neural-Symbolic Recursive Machine for Systematic Generalization

Qing Li, Yixin Zhu외 4명|arXiv (Cornell University)|2022. 10. 04.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 데이터에서 기반 있는 기호 체계(Grounded Symbol System, GSS)를 학습하는 모듈러한 프레임워크인 신경-기호적 재귀 기계(Neural-Symbolic Recursive Machine, NSR)를 제안한다. 이는 순서-순서 작업에서 체계적인 일반화를 가능하게 한다. 새로운 추론-추측 학습 알고리즘을 통해 신경 인식, 문법 분석, 의미 추론을 통합함으로써 NSR은 SCAN과 PCFG에서 100%의 일반화 정확도를 달성하고, HINT에서 이전 모델보다 23% 높은 성능을 기록하여 최신 기술 수준의 성능을 보이며, 도메인 특화 지식에 대한 의존도를 줄이고 이식 가능성이 높다.

ABSTRACT

Current learning models often struggle with human-like systematic generalization, particularly in learning compositional rules from limited data and extrapolating them to novel combinations. We introduce the Neural-Symbolic Recursive Machine (NSR), whose core is a Grounded Symbol System (GSS), allowing for the emergence of combinatorial syntax and semantics directly from training data. The NSR employs a modular design that integrates neural perception, syntactic parsing, and semantic reasoning. These components are synergistically trained through a novel deduction-abduction algorithm. Our findings demonstrate that NSR's design, imbued with the inductive biases of equivariance and compositionality, grants it the expressiveness to adeptly handle diverse sequence-to-sequence tasks and achieve unparalleled systematic generalization. We evaluate NSR's efficacy across four challenging benchmarks designed to probe systematic generalization capabilities: SCAN for semantic parsing, PCFG for string manipulation, HINT for arithmetic reasoning, and a compositional machine translation task. The results affirm NSR's superiority over contemporary neural and hybrid models in terms of generalization and transferability.

연구 동기 및 목표

• 제한된 데이터에서 새로운 조합으로의 외삽을 포함한 신경 모델에서의 체계적 일반화 문제를 해결하기 위해.
• 조합성과 동치성에 대한 강력한 인덕티브 편향을 지닌 통합 프레임워크를 개발하여 인식, 문법, 의미를 동시에 학습하기 위해.
• 기반 있는 기호 체계(GSS)가 훈련 데이터에서 직접 유도되도록 하여 수작업으로 만든 도메인 특화 지식에 의존하지 않기 위해.
• 의미 분석, 문자열 조작, 산술 추론, 기계 번역을 포함한 다양한 순서-순서 작업 간의 이식 가능성과 강건성을 향상시키기 위해.
• 비가역적인 기호적 구성 요소를 위한 미분 가능한 훈련 절차를 설계하기 위해, 새로운 추론-추측 알고리즘을 사용한다.

제안 방법

• NSR는 신경 인식 모듈, 전이 기반 신경 의존성 파서, 기능 프로그램 기반 의미 추론기로 구성된 모듈러 아키텍처를 사용한다.
• 기반 있는 기호 체계(GSS)는 데이터로부터 엔드 투 엔드로 학습되며, 작업 전반에서 (입력, 기호, 출력)의 기반된 삼중체로 기호를 표현한다.
• 새로운 추론-추측 알고리즘이 공동 훈련을 가능하게 한다: 먼저 탐욕적 추론을 통해 초도 GSS를 형성하고, 이후 상향식 추측을 통해 이웃한 GSS 구조를 탐색하여 개선한다.
• 개선된 GSS는 각 NSR 구성 요소를 독립적으로 훈련시키기 위한 의사-정답 supervision 역할을 하며, 비가역적인 기호적 구성 요소의 과제를 극복한다.
• 프레임워크는 조합성과 동치성의 인덕티브 편향을 내장하여 입력을 분해하고 재조합함으로써 체계적 일반화를 가능하게 한다.
• 확률적 학습 프레임워크는 명시적 GSS 주석이 없더라도 엔드 투 엔드 최적화를 지원한다.

실험 결과

연구 질문

• RQ1 신경-기호 모델은 도메인 특화 사전 지식 없이 데이터에서 직접 조합적이고 해석 가능한 기호 체계를 학습할 수 있는가?
• RQ2 조합성과 동치성에 대한 인덕티브 편향을 지닌 모델이 순서-순서 작업에서 새로운 조합으로의 일반화에 얼마나 효과적으로 대응할 수 있는가?
• RQ3 공동 훈련 절차는 기호적 구성 요소의 비가역성 문제를 극복하고 엔드 투 엔드 학습을 가능하게 하는가?
• RQ4 NSR의 성능은 체계적 일반화 벤치마크에서 최신 기술 수준의 신경 및 하이브리드 모델과 비교해 어떻게 되는가?
• RQ5 NSR은 조합적 기계 번역과 같은 실제 세계의 모호한 작업에서 얼마나 잘 일반화되는가?

주요 결과

• NSR은 SCAN 벤치마크에서 100%의 일반화 정확도를 달성하여 이전의 모든 모델을 능가한다.
• PCFG 벤치마크에서 NSR은 100%의 일반화 정확도를 기록하여 새로운 문자열 조작 규칙으로의 완벽한 외삽 능력을 입증한다.
• HINT 벤치마크에서 NSR은 평균 테스트 정확도 90.1%를 기록하여 이전 최고 성능 모델보다 23%포인트 높은 성능을 보였다.
• NSR은 조합적 기계 번역 작업에서 100%의 일반화 정확도를 달성하였으며, NeSS와 동일한 성능를 기록했지만 더 원칙적이고 데이터 기반의 기호 체계를 사용한다.
• 모델은 의미 분석, 문자열 조작, 산술 추론, 실제 번역 등 다양한 도메인 간에 강력한 이식 가능성을 보이며, 도메인 특화 지식에 대한 의존도가 매우 낮다.
• 제거 실험을 통해 조합성과 동치성의 인덕티브 편향이 NSR의 뛰어난 일반화 성능에 핵심적인 역할을 한다는 것이 확인되었다.