[논문 리뷰] Learning Symbolic Rules for Reasoning in Quasi-Natural Language

Kaiyu Yang, Jia Deng|arXiv (Cornell University)|2021. 11. 23.

Topic Modeling참고 문헌 57인용 수 9

한 줄 요약

이 논문은 설명 가능한 추론을 위한 기호 논리와 자연어를 통합하는 퀼리-자연어 형식어인 MetaQNL과, 추론 단계가 있는지 여부에 관계없이 질문-답변 쌍으로부터 기호 규칙을 유도하는 학습 알고리즘인 MetaInduce를 제안한다. 이 방법은 추론 벤치마크에서 최고 성능을 기록하며, 간결하고 검증 가능한 증명을 생성하고, 신경망 기반 베이스라인과 경쟁적인 성능을 보이며, 잡음이 많고 모호한 형태 분석 작업에 일반화된다.

ABSTRACT

Symbolic reasoning, rule-based symbol manipulation, is a hallmark of human intelligence. However, rule-based systems have had limited success competing with learning-based systems outside formalized domains such as automated theorem proving. We hypothesize that this is due to the manual construction of rules in past attempts. In this work, we ask how we can build a rule-based system that can reason with natural language input but without the manual construction of rules. We propose MetaQNL, a "Quasi-Natural" language that can express both formal logic and natural language sentences, and MetaInduce, a learning algorithm that induces MetaQNL rules from training data consisting of questions and answers, with or without intermediate reasoning steps. Our approach achieves state-of-the-art accuracy on multiple reasoning benchmarks; it learns compact models with much less data and produces not only answers but also checkable proofs. Further, experiments on a real-world morphological analysis benchmark show that it is possible for our method to handle noise and ambiguity. Code will be released at https://github.com/princeton-vl/MetaQNL.

연구 동기 및 목표

• 수동적인 규칙 구축 없이 자연어 입력에서 작동하는 규칙 기반 추론 시스템을 개발하는 것.
• 기호 추론의 해석 가능성과 딥 러닝의 데이터 효율성 및 유연성 간 격차를 메우는 것.
• 해석 가능성과 검증 가능성을 유지하면서 데이터로부터 자동으로 기호 규칙을 유도하는 것.
• 형태학적 분석과 같은 비공식 도메인에서의 실제 언어적 잡음과 모호성을 처리하는 것.
• 데이터로부터 규칙을 학습하는 것이 특정 추론 작업에서 수동 규칙 설계와 종단 간 신경망 모델을 모두 능가할 수 있음을 보여주는 것.

제안 방법

• 변수를 사용하여 추상적 패턴을 표현함으로써 자연어 표현과 논리 규칙을 융합한 형식적 기호 체계인 MetaQNL을 제안한다.
• 다중 전제와 단일 결론을 가진 규칙을 설계하며, 정리 증명 과정에서 변수가 구체적 문장으로 인스턴스화된다.
• 학습 예제에서 목표 결론을 단 한 번의 단계로 증명할 수 있는 후보 규칙을 생성함으로써, 목표 결론을 유도하는 메타알고리즘인 MetaInduce를 개발한다.
• 역방향 연역과 반대일치를 통한 규칙 일반화를 통해 특정 예시에서 추상적 규칙으로 일반화한다.
• 유사도 기반 매칭 점수를 사용하여 유연한 패턴 매칭을 허용함으로써 추론 중 소프트 매칭을 적용함으로써 언어적 다양성에 대한 강건성을 향상시킨다.
• 모든 예측가능한 증명이 기계적으로 검증 가능한 증명을 동반하도록 기존 정리 증명기와 통합한다.

실험 결과

연구 질문

• RQ1 수동적인 규칙 구축 없이 기호 추론을 자연어 입력에 효과적으로 적용할 수 있는가?
• RQ2 자연어와 형식 논리를 통합적으로 표현할 수 있는 형식 체계는 어떻게 설계할 수 있는가?
• RQ3 질문-답변 쌍으로부터 중간 추론 단계가 있거나 없거나, 압축되고 일반화 가능한 기호 규칙을 유도할 수 있는 학습 알고리즘이 존재하는가?
• RQ4 학습된 규칙 기반 시스템의 성능은 추론 및 형태 분석 작업에서 신경망 기반 베이스라인과 비교해 어떻게 되는가?
• RQ5 소프트 매칭 메커니즘이 실제 데이터의 언어적 다양성과 모호성에 대해 얼마나 강건성을 향상시킬 수 있는가?

주요 결과

• MetaInduce는 여러 추론 벤치마크에서 최고 성능을 기록하며, 이전의 규칙 기반 및 신경망 기반 베이스라인보다 해석 가능성과 데이터 효율성에서 뛰어난 성능을 보였다.
• 이 방법은 간결하고 인간이 읽을 수 있는 증명을 생성하며, 기계적으로 검증 가능하여 투명성과 검증 가능성을 향상시켰다.
• 형태 분석 벤치마크에서, 모델은 스와힐리어에서 신경망 seq2seq 기반 베이스라인(88 대 82)과 경쟁적인 F1 스코어를 기록했으며, 스페인어에서는 소프트 매칭 덕분에 성능이 향상되어 F1이 66에서 66으로 상승했고, 다른 언어들에 대해서도 격차를 줄였다.
• 모델은 '스페인어에서 접미사 -áramos는 과거 시제를 나타낸다'와 같은 설명 가능한 규칙을 학습하여 언어 패턴으로의 일반화를 보였다.
• 스페인어에서는 소프트 매칭이 근사적 규칙 매칭을 허용하여 성능 향상을 가져왔지만, 고도로 복잡한 형태학적 특성을 지닌 스와힐리어와 터키어에서는 성능 향상이 없었으며, 규칙 근사화의 어려움 때문이었다.
• 현재의 한계는 규칙 추상화 깊이에 있다 — 오직 깊이 1의 증명만 고려되기 때문에, 형태학적으로 풍부한 언어에서 더 복잡한 다단계 규칙을 학습하는 데 어려움이 있다.