[논문 리뷰] Neural Enquirer: Learning to Query Tables.

Pengcheng Yin, Zhengdong Lu외 2명|arXiv (Cornell University)|2015. 12. 03.

Topic Modeling참고 문헌 16인용 수 26

한 줄 요약

Neural Enquirer는 다중 메모리 레이어를 통해 분포 표현을 생성하고 구성적인 미분 가능 연산을 수행함으로써 구조화된 지식 기반 테이블에 대한 자연어 쿼리를 이해하고 실행하는 데 학습하는 완전히 미분 가능한 신경망 아키텍처이다. 이는 경사 하강법을 사용한 엔드 투 엔드 훈련을 가능하게 하며, 기호적 구문 분석 없이 쿼리와 테이블 임베딩을 처음부터 학습한다. 복잡한 쿼리에 대해 단계별 감독을 지원한다.

ABSTRACT

We proposed Neural Enquirer as a neural network architecture to execute a natural language (NL) query on a knowledge-base (KB) for answers. Basically, Neural Enquirer finds the distributed representation of a query and then executes it on knowledge-base tables to obtain the answer as one of the values in the tables. Unlike similar efforts in end-to-end training of semantic parsers, Neural Enquirer is fully neuralized: it not only gives distributional representation of the query and the knowledge-base, but also realizes the execution of compositional queries as a series of differentiable operations, with intermediate results (consisting of annotations of the tables at different levels) saved on multiple layers of memory. Neural Enquirer can be trained with gradient descent, with which not only the parameters of the controlling components and semantic parsing component, but also the embeddings of the tables and query words can be learned from scratch. The training can be done in an end-to-end fashion, but it can take stronger guidance, e.g., the step-by-step supervision for complicated queries, and benefit from it. Neural Enquirer is one step towards building neural network systems which seek to understand language by executing it on real-world. Our experiments show that Neural Enquirer can learn to execute fairly complicated NL queries on tables with rich structures.

연구 동기 및 목표

• 기호적 구문 분석 없이 자연어 쿼리를 해석하고 구조화된 테이블에서 실행할 수 있는 완전히 신경망화된 시스템을 개발하는 것.
• 경사 하강법을 사용한 엔드 투 엔드 훈련을 통해 의미 분석 및 실행 구성 요소를 동시에 학습하고, 쿼리와 테이블 임베딩을 처음부터 학습하는 것.
• 다중 메모리 레이어를 통해 중간 결과를 저장하는 다양한 미분 가능 연산을 통해 구성적 쿼리 실행을 지원하는 것.
• 복잡한 쿼리에 대해 단계별 애너테이션을 통한 더 강력한 감독을 허용하여 학습 효율성과 정확도를 향상시키는 것.
• 실제 세계의 구조화된 데이터에서 언어를 실행함으로써 신경망 시스템의 언어 이해 능력을 향상시키는 것.

제안 방법

• Neural Enquirer는 자연어 쿼리와 지식 기반 테이블의 양측에 대해 분포 표현을 생성하기 위해 신경 인코더를 사용한다.
• 쿼리 실행은 중간 결과가 다중 메모리 레이어에 저장되어 구성적 추론을 지원하는, 다양한 미분 가능 연산의 시퀀스로 수행된다.
• 제어 메커니즘과 의미 분석 구성 요소를 통합된 미분 가능한 프레임워크에 통합하여 기울기 기반 최적화를 가능하게 한다.
• 쿼리와 테이블 값의 단어 임베딩을 함께 학습함으로써 훈련 중에 의미 있는 표현을 발견할 수 있도록 한다.
• 단계별 감독이 있거나 없거나의 엔드 투 엔드 훈련을 지원하여 복잡한 쿼리에서 일반화 성능을 향상시킨다.
• 테이블 애너테이션을 조작하는 일련의 미분 가능 연산을 통해 실행을 실현함으로써 전체 파이프라인을 거쳐 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전히 미분 가능한 신경망 아키텍처가 복잡한 자연어 쿼리를 구조화된 테이블에서 이해하고 실행할 수 있는가?
• RQ2 경사 하강법을 사용한 엔드 투 엔드 훈련이 의미 분석 및 실행 구성 요소를 동시에 학습하는 데 얼마나 효과적인가?
• RQ3 단계별 감독은 복잡하고 구성적인 쿼리에서 성능 향상에 얼마나 기여하는가?
• RQ4 사전 학습된 임베딩 없이도 쿼리와 테이블 값의 의미 있는 분포 표현을 처음부터 학습할 수 있는가?
• RQ5 다중 메모리 레이어를 통해 수행하는 미분 가능 연산이 신경 의미 분석에서 구성적 추론을 가능하게 하는가?

주요 결과

• Neural Enquirer는 풍부한 구조적 특징을 지닌 테이블에서 복잡한 자연어 쿼리를 성공적으로 실행하는 데 학습했다.
• 경사 하강법을 사용한 엔드 투 엔드 훈련을 통해 쿼리와 테이블 임베딩을 처음부터 학습함으로써 강력한 성능을 달성했다.
• 단계별 감독은 복잡한 쿼리에서 학습 효율성과 정확도를 크게 향상시켰다.
• 미분 가능 실행 메커니즘은 전체 추론 파이프라인을 거쳐 역전파를 가능하게 하여 공동 최적화를 지원했다.
• 실제 지식 기반 테이블에서 메모리 증강 실행을 통해 완전히 신경망화된 의미 분석의 실현 가능성을 입증했다.
• 실행 중 다중 메모리 레이어에 중간 결과를 유지함으로써 구성적 쿼리 추론을 지원하는 아키텍처를 제공했다.