[논문 리뷰] Learning Compositional Rules via Neural Program Synthesis

Maxwell Nye, Armando Solar-Lezama외 2명|arXiv (Cornell University)|2020. 03. 12.

Topic Modeling참고 문헌 29인용 수 31

한 줄 요약

이 논문은 신경-기호 모델로 적은 예제에서 명시적 규칙 시스템을 유도하고, 신경 제안과 기호적 프로그램 검사를 결합하여 도메인 간 구성적 일반화를 가능하게 한다.

ABSTRACT

Many aspects of human reasoning, including language, require learning rules from very little data. Humans can do this, often learning systematic rules from very few examples, and combining these rules to form compositional rule-based systems. Current neural architectures, on the other hand, often fail to generalize in a compositional manner, especially when evaluated in ways that vary systematically from training. In this work, we present a neuro-symbolic model which learns entire rule systems from a small set of examples. Instead of directly predicting outputs from inputs, we train our model to induce the explicit system of rules governing a set of previously seen examples, drawing upon techniques from the neural program synthesis literature. Our rule-synthesis approach outperforms neural meta-learning techniques in three domains: an artificial instruction-learning domain used to evaluate human learning, the SCAN challenge datasets, and learning rule-based translations of number words into integers for a wide range of human languages.

연구 동기 및 목표

• 매우 작은 데이터에서 인간의 일반화와 유사하게 구성 규칙 학습을 자극한다.
• 지원 예제들로부터 명시적 문법 기반 규칙 시스템을 유도하는 신경 프로그램 합성 프레임워크를 제안한다.
• 다양한 도메인에서 신경 메타 학습 기반보다 우수한 일반화를 보여준다.
• 명시적 문법 탐색을 통해 해석 가능한 규칙 발견과 out-of-distribution 일반화가 강하게 나타난다.

제안 방법

• BiLSTM 기반 인코더로 지원 입력-출력 예제를 인코딩한다.
• 어텐션 가능 LSTM 디코더를 사용하여 후보 문법을 디코딩한다.
• 프로그램을 재작성 규칙의 해석적 문법(LHS -> RHS)으로 표현한다.
• 샘플링된 문법을 쿼리 입력에 구성적으로 적용하고 지원 세트에 대한 일관성을 검사한다.
• 규칙 시스템의 메타-문법에 대해 학습하여 근사 베이지안 문법 유도를 수행한다.
• 테스트 시에는 후보 문법을 샘플링하고 이를 지원 세트와 검증하여 일관한 문법을 찾을 때까지 탐색을 수행한다.]

실험 결과

연구 질문

• RQ1 적은 예제에서 명시적 규칙 시스템을 신경-기호 모델로 유도하고 이를 조합적으로 일반화하여 새로운 입력에 적용할 수 있는가?
• RQ2 구문 탐색을 통한 명시적 규칙 검색이 구성적 과제에서 순수한 신경 메타 학습과 어떻게 다른가?
• RQ3 이 접근법이 인간 언어 스타일의 지시 학습, 스캔 데이터셋, 다언어 간 수 단어 해석으로 전이될 수 있는가?
• RQ4 많은 지원 예제에 대한 주의(attention)가 규칙 발견과 도메인 간 일반화를 개선하는가?

주요 결과

• 제안된 규칙 합성 모델은 인공 지시 학습, 스캔 챌린지, 그리고 다언어 수-단어 해석에서 신경 메타 학습 기반보다 성능이 우수하다.
• 탐색 기반 합성은 Mini Scan에서 거의 완벽한 성능을 달성하고 규칙 복잡도가 증가해도 정확성을 유지하는 반면, 기준선은 그렇지 않다.
• 순수 신경 입출력 매핑은 길이가 길거나 out-of-distribution인 질의에 어려움을 겪는 반면, 명시적 규칙 학습은 학습된 문법을 임의의 질의 입력에 적용하여 일반화한다.
• 모델은 여러 언어에 걸친 수-단어 해석에서 강력한 성능을 달성하여 다언어 구성적 일반화를 보여준다.