[논문 리뷰] Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision

Liang Chen, Jonathan Berant외 3명|arXiv (Cornell University)|2016. 10. 31.

Topic Modeling참고 문헌 40인용 수 44

한 줄 요약

이 논문은 약한 지도 학습을 사용하여 Freebase에서 의미 분석을 수행하기 위해 신경망 기반의 순차-순차 프로그래머와 기호적 Lisp 인터프리터를 결합한 Neural Symbolic Machine(이하 NSM) 프레임워크를 소개한다. 조합성에 대응하기 위해 키-변수 메모리를 활용하고, 학습 안정성을 높이기 위해 반복적 최대우도 미리학습과 함께 REINFORCE를 사용함으로써, 특징 공학이나 완전한 지도 학습 없이도 WebQuestionsSP에서 최신 기준 성능을 달성한다.

ABSTRACT

Harnessing the statistical power of neural networks to perform language understanding and symbolic reasoning is difficult, when it requires executing efficient discrete operations against a large knowledge-base. In this work, we introduce a Neural Symbolic Machine, which contains (a) a neural "programmer", i.e., a sequence-to-sequence model that maps language utterances to programs and utilizes a key-variable memory to handle compositionality (b) a symbolic "computer", i.e., a Lisp interpreter that performs program execution, and helps find good programs by pruning the search space. We apply REINFORCE to directly optimize the task reward of this structured prediction problem. To train with weak supervision and improve the stability of REINFORCE, we augment it with an iterative maximum-likelihood training process. NSM outperforms the state-of-the-art on the WebQuestionsSP dataset when trained from question-answer pairs only, without requiring any feature engineering or domain-specific knowledge.

연구 동기 및 목표

• 완전한 프로그램 주석이 비용이 많이 들고 희귀하기 때문에, 약한 지도 학습에서 의미 분석기를 훈련시키는 데 도전하는 것.
• 비가역적 인터프리터를 사용해 Freebase와 같은 대규모 지식 기반에서 효율적이고 확장 가능하며 정밀한 기호적 추론을 가능하게 하는 것.
• 비가역적 기호 연산을 포함한 신경망을 훈련시키는 데 어려움을 해결하기 위해, 탐색 공간을 줄이는 기호 컴퓨터를 통합하는 것.
• 강화 학습을 통해 구조적 예측 성능을 직접 최적화하면서도, 반복적 최대우도 미리학습을 통해 학습 안정성을 향상시키는 것.
• 도메인 특화 특징이나 수작업으로 만든 문법을 요구하지 않고, 약한 지도 학습과 완전한 지도 학습 간의 성능 격차를 줄이는 것.

제안 방법

• NSM 프레임워크는 자연어 질문을 실행 가능한 프로그램으로 매핑하는 신경망 기반 '프로그래머'로 구성되며, 중간 결과를 저장하고 재사용할 수 있도록 키-변수 메모리를 갖춘 순차-순차 모델을 사용한다.
• 기호적 '컴퓨터' — 비가역적 Lisp 인터프리터 — 는 Freebase에서 프로그램을 실행하여 대규모 지식 기반에서 효율적이고 추상적이며 정밀한 연산을 가능하게 한다.
• 시스템은 생성 과정 중에 잘못된 프로그램 후보를 검증하고 제거함으로써 탐색 공간을 줄이는 친화적인 신경망 컴퓨터 인터페이스를 사용한다.
• 훈련은 작업 보상(예: 정답 예측)을 최대화하기 위해 REINFORCE 알고리즘을 사용하여 직접적으로 구조적 예측 성능을 최적화한다.
• 학습 안정성을 높이기 위해 반복적 최대우도 단계를 사용한다: 비트 서치로 가짜 골드 프로그램을 생성하고, 이를 REINFORCE 목적 함수에 통합한다.
• 키-변수 메모리 메커니즘은 변수 이름(예: R1은 '미국에 있는 모든 도시'를 의미)을 통해 이전 결과를 참조함으로써 조합적 의미를 효과적으로 처리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 질문-답변 쌍만으로 완전한 프로그램 주석 없이도 신경-기호 시스템이 강력한 의미 분석 성능을 달성할 수 있는가?
• RQ2 자연어 이해에서 언어의 조합성을 효과적으로 모델링하기 위해, 기호 프로그램을 생성하는 신경망 내에서 어떻게 모델링할 수 있는가?
• RQ3 비가역적 기호 컴퓨터를 가역적 훈련 파이프라인에 통합하여 엔드 투 엔드 학습을 가능하게 할 수 있는가?
• RQ4 프로그램 생성을 위한 고차원적이고 비가역적 탐색 공간에서 강화 학습을 안정화시키는 데 어떤 훈련 전략이 효과적인가?
• RQ5 약한 지도 학습이 완전한 지도 학습과의 성능 격차를 어느 정도 줄일 수 있는가?

주요 결과

• NSM는 특징 공학이나 도메인 특화 지식 없이도 질문-답변 쌍만으로 WebQuestionsSP 데이터셋에서 최신 기준 성능을 달성한다.
• 모델은 약한 지도 학습과 완전한 지도 학습 간의 성능 격차를 크게 줄였으며, 제안된 훈련 전략의 효과성을 입증한다.
• 기호적 Lisp 인터프리터와 신경망 프로그래머의 통합은 대규모 지식 기반(1억 개 이상의 실체, 2만 개 이상의 속성)인 Freebase에서 확장 가능하고 정밀한 실행을 가능하게 한다.
• 키-변수 메모리 메커니즘은 중간 결과를 참조하고 재사용할 수 있도록 하여 조합적 의미를 효과적으로 지원한다.
• REINFORCE와 반복적 최대우도 미리학습의 조합은 학습 안정성을 높이고 수렴성을 향상시켜, 완전한 지도 학습이 없는 환경에서 표준 REINFORCE보다 뛰어난 성능을 낸다.
• 시스템은 엔드 투 엔드로 훈련 가능하며, 수작업으로 만든 문법, 어텐션 메커니즘, 가역적 메모리가 필요하지 않아 이전 접근 방식과 구별된다.