[논문 리뷰] Recursive Neural Networks for Learning Logical Semantics.

Samuel R. Bowman, Christopher Potts외 1명|arXiv (Cornell University)|2014. 06. 06.

Topic Modeling참고 문헌 21인용 수 22

한 줄 요약

이 논문은 순환 신경망—특히 일반 RNN와 순환 신경망 텐서 네트워크(RNTNs)—가 자연어 추론을 위한 조합적 논리적 의미를 학습할 수 있는지 평가한다. 형식적 논리 문법을 기반으로 생성된 제어된 데이터셋을 사용하여, RNTNs는 함의, 모순, 양화 문장에 걸쳐 잘 일반화되지만, 일반 RNN은 혼합된 성능을 보이며, 이는 RNTNs가 논리적 추론을 지원하는 표현을 학습하는 데 더 적합하다는 것을 시사한다.

ABSTRACT

Supervised recursive neural network models (RNNs) for sentence meaning have been successful in an array of sophisticated language tasks, but it remains an open question whether they can learn compositional semantic grammars that support logical deduction. We address this question directly by for the first time evaluating whether each of two classes of neural model — plain RNNs and recursive neural tensor networks (RNTNs) — can correctly learn relationships such as entailment and contradiction between pairs of sentences, where we have generated controlled data sets of sentences from a logical grammar. Our first experiment evaluates whether these models can learn the basic algebra of logical relations involved. Our second and third experiments extend this evaluation to complex recursive structures and sentences involving quantification. We find that the plain RNN achieves only mixed results on all three experiments, whereas the stronger RNTN model generalizes well in every setting and appears capable of learning suitable representations for natural language logical inference.

연구 동기 및 목표

• 감독 학습을 받는 순환 신경망이 논리적 추론을 지원할 수 있는 조합적 의미 문법을 학습할 수 있는지 조사하기.
• 신경망 모델이 문장 쌍 간의 함의 및 모순과 같은 논리적 관계를 포착할 수 있는 능력을 평가하기.
• 점점 더 복잡한 재귀적 구조와 양화를 포함한 문장에서의 모델 일반화 능력 평가하기.
• 일반 RNN과 순환 신경망 텐서 네트워크(RNTNs)가 논리적 의미 학습에서 성능을 비교하기.

제안 방법

• 저자들은 함의 및 모순 관계를 정의하기 위해 형식적 논리 문법을 사용하여 문장 쌍의 제어된 데이터셋을 생성한다.
• 이 데이터셋을 바탕으로 일반 RNN과 순환 신경망 텐서 네트워크(RNTNs)를 훈련하여 문장 표현을 학습한다.
• 모델는 문장 쌍 간의 논리적 관계 예측 능력, 기본 논리 대수 및 복잡한 재귀적 구조를 포함한 평가에 기반하여 평가된다.
• 평가에는 정량자 포함 문장이 포함되어 있으며, 모델의 단순 패턴을 넘어서 일반화 능력을 테스트한다.
• RNTN 모델은 텐서 기반 조합을 사용하여 단어 표현 간의 비선형 상호작용을 학습하여 표현 능력을 향상시킨다.
• 성능는 다양한 실험 설정에서 논리적 관계 예측 정확도를 통해 측정된다.

실험 결과

연구 질문

• RQ1 일반 RNN은 문장 쌍 간의 함의 및 모순와 같은 기본 논리 대수를 학습할 수 있는가?
• RQ2 RNTNs는 복잡한 재귀적 문장 구조를 넘어선 정확한 논리적 추론을 유지하면서 일반화할 수 있는가?
• RQ3 정량자 포함 문장에서 두 모델은 어떻게 성능를 보이는가? 이는 더 깊은 조합적 이해가 필요하다.
• RQ4 RNTNs에 텐서 기반 조합이 포함될 경우, 일반 RNN에 비해 논리적 추론 작업에서 더 나은 일반화를 이끌 수 있는가?

주요 결과

• 일반 RNN은 모든 세 가지 실험에서 혼합된 결과를 보이며, 논리적 추론 작업에서 일반화 능력이 제한됨을 시사한다.
• RNTN 모델은 복잡한 재귀적 구조와 정량자 포함 문장을 포함한 모든 실험 설정에서 잘 일반화된다.
• RNTN은 자연어 논리적 추론에 적합한 표현을 학습하는 데 뛰어난 성능를 보인다.
• 결과는 RNTNs가 논리적 추론을 지원하는 조합적 의미 문법을 학습할 수 있음을 시사한다.
• 텐서 기반 조합 덕분에 RNTNs의 더 강력한 표현 능력은 일반 RNN보다 논리적 관계 학습에서 더 나은 성능를 보인다.