[논문 리뷰] Exploring Neural Models for Parsing Natural Language into First-Order Logic

Hrituraj Singh, Milan Aggarwal외 1명|arXiv (Cornell University)|2020. 02. 16.

Natural Language Processing Techniques참고 문헌 60인용 수 6

한 줄 요약

이 논문은 영어 문장을 일阶 논리(FOL)로 변환하기 위해 보조 카테고리 예측과 가변적 어울림을 갖춘 신경 시퀀스-투-시퀀스 모델을 제안한다. 술어 유형을 분리하고 술어 간 변수 일관성을 강제화함으로써, 모델은 테스트 데이터에서 72.42%의 F1 스코어를 달성하여 베이스라인을 크게 능가하며, 입력 변형에 대해서도 뛰어난 내성성을 보여준다.

ABSTRACT

Semantic parsing is the task of obtaining machine-interpretable representations from natural language text. We consider one such formal representation - First-Order Logic (FOL) and explore the capability of neural models in parsing English sentences to FOL. We model FOL parsing as a sequence to sequence mapping task where given a natural language sentence, it is encoded into an intermediate representation using an LSTM followed by a decoder which sequentially generates the predicates in the corresponding FOL formula. We improve the standard encoder-decoder model by introducing a variable alignment mechanism that enables it to align variables across predicates in the predicted FOL. We further show the effectiveness of predicting the category of FOL entity - Unary, Binary, Variables and Scoped Entities, at each decoder step as an auxiliary task on improving the consistency of generated FOL. We perform rigorous evaluations and extensive ablations. We also aim to release our code as well as large scale FOL dataset along with models to aid further research in logic-based parsing and inference in NLP.

연구 동기 및 목표

• 일반적이고 개방형 도메인의 신경 파서를 개발하여 자연어 문장을 일阶 논리(FOL) 표현으로 매핑한다.
• 신경 시퀀스-투-시퀀스 학습을 통해 FOL 내 복잡한 변수 의존성과 술어 관계를 모델링하는 과제를 해결한다.
• 디코딩 중에 실체 카테고리(일원, 이원, 변수, 범위가 지정된 실체)의 보조 예측을 도입하여 FOL 생성의 일관성을 향상시킨다.
• 디코더 어텐션을 제약하는 전용 어울림 메커니즘을 사용하여 술어 간 가변적 어울림을 향상시킨다.
• 학습 중에 변수 이름을 무작위로 재배열하는 전략을 도입하여, 단순한 패tern 유출을 방지하기 위한 모델의 내성성 평가를 수행한다.

제안 방법

• LSTM 인코더와 순차적 생성 디코더를 사용하여 FOL 파싱을 시퀀스-투-시퀀스 작업으로 모델링한다.
• 일원 술어, 이원 술어, 변수, 범위가 지정된 실체의 네 가지 FOL 실체 유형을 위한 별도의 예측 헤드를 보조 작업으로 도입한다.
• 이중 술어 내 변수를 이전에 생성된 일원 술어와 직접 연결하는 가변적 어울림 메커니즘을 제안하며, 학습 가능한 어울림 손실을 사용한다.
• FOL 기호를 표현하기 위해 토큰 분해를 적용하고, 예측된 실체 유형에 조건을 두어 구조적 디코딩을 가능하게 한다.
• 학습 중에 실제 출력에서 변수 이름을 무작위로 재배열하는 변형 전략을 적용하여 모델의 내성성을 시험한다.
• 표준 어텐션 메커니즘과 비드 서치 디코딩을 사용하며, 교차 엔트로피와 어울림 감독을 병합한 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 신경 시퀀스-투-시퀀스 모델은 자연어에서 복잡한 FOL 식을 효과적으로 생성하는 데 성공할 수 있는가?
• RQ2 FOL 실체 유형의 보조 예측은 생성된 공식의 일관성과 정확성을 향상시키는가?
• RQ3 술어 간 명시적 가변적 어울림이 FOL 파싱 성능을 크게 향상시킬 수 있는가?
• RQ4 제안된 모델은 학습 데이터의 분포 변화나 패턴 유출에 얼마나 내성적인가?
• RQ5 narrow-domain 벤치마크를 초월하여 개방형 도메인의 다양한 자연어 입력에 대해 모델은 얼마나 일반화되는가?

주요 결과

• 별도의 예측 헤드와 가변적 어울림을 갖춘 제안된 모델은 테스트 F1 스코어 72.42%를 달성하여, 베이스라인(63.03%)보다 뚜렷한 향상을 보였다.
• 별도의 헤드와 어울림을 갖춘 모델은 복잡한 관계 문장에서 변수 바인딩 및 술어 구조 오류를 줄였으며, 이는 높은 정밀도와 재현율로 입증되었다.
• 모델은 입력 변형에 대해 강력한 내성성을 보였다: 베이스라인은 변수 재배열 조건에서 급격히 성능이 떨어지지만, 제안된 모델은 높은 성능을 유지했다.
• 보조 카테고리 예측 작업은 FOL 생성의 일관성을 향상시켜 술어 및 변수 사용 시 문법 오류를 감소시켰다.
• 가변적 어울림 메커니즘은 특히 공통 실체나 상호 관계를 가진 문장에서 술어 간 변수 의존성을 효과적으로 포착했다.
• 결과적으로 명시적 구조적 인도티브 바이어스(실체 유형 분리 및 어울림)가 신경 FOL 파싱 성능을 크게 향상시킨다는 것이 시사된다.