[논문 리뷰] Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization

Mathijs Mul, Willem Zuidema|arXiv (Cornell University)|2019. 06. 01.

Topic Modeling참고 문헌 35인용 수 16

한 줄 요약

이 논문은 LSTM 및 GRU 셀을 사용하는 시앙세이 순환 신경망(SRN)이 명시적인 문법적 또는 의미적 사전 지식 없이도 합성적이고 구성적인 언어에서 일阶 논리 함의 관계를 학습할 수 있음을 보여준다. 모델들은 새로운 문장 길이와 새로운 어휘에 대해 거의 완벽한 제로샷 구성 일반화를 달성하며, 재귀 네트워크를 능가하고 온톨로지의 의미 재할당에 대해서도 강건함을 보였다.

ABSTRACT

Can neural nets learn logic? We approach this classic question with current methods, and demonstrate that recurrent neural networks can learn to recognize first order logical entailment relations between expressions. We define an artificial language in first-order predicate logic, generate a large dataset of sample 'sentences', and use an automatic theorem prover to infer the relation between random pairs of such sentences. We describe a Siamese neural architecture trained to predict the logical relation, and experiment with recurrent and recursive networks. Siamese Recurrent Networks are surprisingly successful at the entailment recognition task, reaching near perfect performance on novel sentences (consisting of known words), and even outperforming recursive networks. We report a series of experiments to test the ability of the models to perform compositional generalization. In particular, we study how they deal with sentences of unseen length, and sentences containing unseen words. We show that set-ups using LSTMs and GRUs obtain high scores on these tests, demonstrating a form of compositionality.

연구 동기 및 목표

• 재귀 신경망이 기호적 사전 지식 없이 일阶 술어논리에서 구성적 논리 추론을 학습할 수 있는지 조사하기.
• 딥 러닝 모델이 암기 초월, 특히 새로운 문장 구조와 볼 수 없는 어휘로 일반화할 수 있는지 테스트하기.
• 형식 논리와 정리 증명을 사용하여 논리 함의 작업을 위한 확장 가능한 자동 데이터 생성 파이프라인 개발하기.
• 새로운 문장 길이와 새로운 단어로 테스트하는 제로샷 일반화 능력 평가하기.
• 구조적 인덕티브 바이어스에 초점을 맞춰 시앙세이 RNN과 재귀 네트워크를 비교하여 논리 추론 학습에서의 성능 평가하기.

제안 방법

• 사용자 정의 언어를 일阶 논리(FOL)를 사용해 정의하고, 네 가지 어휘 카테고리(기호, 명사, 동사, 부사)를 포함한다.
• 구문 구조 문법을 통해 문장을 생성하고, 표준 일阶 정리 증명기로 자동으로 함의 관계를 추론한다.
• 문장 쌍을 처리하고 일곱 가지 함의 관계(함의, 모순 등) 중 하나를 예측하는 시앙세이 신경망 아키텍처를 설계한다.
• 공유 가중치를 사용하여 시앙세이 구조에서 표현을 비교하는 방식으로, 문장 쌍을 학습하는 데 LSTM 및 GRU를 사용한다.
• 어휘를 볼 수 없는 단어로 교체하거나 온톨로지 구조를 변경하면서도 문법적 및 의미적 구조를 유지한 채로 제로샷 일반화 테스트를 적용한다.
• 명시적인 문법 분석 또는 기호적 제어 구조 없이, 단어 임베딩을 입력 특징으로 사용한다.

실험 결과

연구 질문

• RQ1 재귀 신경망은 기호적 인덕티브 바이어스 없이도 일阶 논리 함의 관계를 인식할 수 있는가?
• RQ2 추론 도중에 새로운 문장 길이에 대해 시앙세이 RNN은 어느 정도 일반화할 수 있는가?
• RQ3 학습 중에 볼 수 없었던 완전히 새로운 어휘를 포함한 문장으로 일반화할 수 있는가?
• RQ4 예를 들어 인간 집단에서 동물이나 종교로의 의미적 온톨로지 재할당에 대해 모델은 얼마나 강건한가?
• RQ5 계층적 구조를 모델링하도록 특별히 설계된 재귀 네트워크보다 시앙세이 RNN이 논리 추론 작업에서 성능이 뛰어나게 되는가?

주요 결과

• GRU 및 LSTM 셀을 사용하는 시앙세이 순환 네트워크(SRN)는 기존 어휘로 구성된 새로운 문장에 대해 함의 인식 테스트 정확도가 97.2%를 기록했다.
• 모든 학습 명사를 완전히 새로운 것으로 교체한 r₄ 테스트에서 GRU 모델은 86.7%의 정확도를 유지하여 강력한 제로샷 구성 일반화 능력을 입증했다.
• 명사 온톨로지가 의미적으로 관련 없는 도메인(예: 동물, 종교, 미국)으로 재구성된 경우에도 GRU 모델은 56.3–59.0%의 정확도를 유지했으며, 일곱 클래스 문제에서 우연보다 훨씬 높은 성능을 보였다.
• 재귀 신경망은 문법적 계층을 모델링하도록 특별히 설계되었음에도 불구하고, SRN의 성능이 뛰어나다는 점이 확인되었다.
• 모델들은 새로운 문장 길이로도 효과적으로 일반화되어, 패턴 암기가 아니라 구성 규칙을 학습했다는 것을 시사한다.
• 결과적으로 재귀 네트워크가 형식 언어에서 구성적 논리 규칙을 학습하고 적용할 수 있으며, 이러한 추론이 딥 러닝의 본질적 한계를 넘어서는 것이 아님을 시사한다.