[논문 리뷰] Neural Enquirer: Learning to Query Tables with Natural Language

Pengcheng Yin, Zhengdong Lu외 2명|arXiv (Cornell University)|2015. 12. 03.

Topic Modeling참고 문헌 16인용 수 27

한 줄 요약

Neural Enquirer는 지식기반 테이블에 대한 자연어 쿼리를 파싱하고 실행하는 데에 완전히 미분 가능한 엔드투엔드 신경망 아키텍처를 제안한다. 이는 쿼리와 테이블을 분산 표현으로 인코딩하고, 여러 메모리 레이어에 저장된 다양한 미분 가능한 연산을 통해 복합 쿼리를 실행한다. 모델은 새로운 쿼리 조합에 대해 강력한 일반화 성능을 보이며, 복잡한 구조적 쿼리에 대한 엔드투엔드 신경 실행의 가능성을 입증한다.

ABSTRACT

We proposed Neural Enquirer as a neural network architecture to execute a natural language (NL) query on a knowledge-base (KB) for answers. Basically, Neural Enquirer finds the distributed representation of a query and then executes it on knowledge-base tables to obtain the answer as one of the values in the tables. Unlike similar efforts in end-to-end training of semantic parsers, Neural Enquirer is fully "neuralized": it not only gives distributional representation of the query and the knowledge-base, but also realizes the execution of compositional queries as a series of differentiable operations, with intermediate results (consisting of annotations of the tables at different levels) saved on multiple layers of memory. Neural Enquirer can be trained with gradient descent, with which not only the parameters of the controlling components and semantic parsing component, but also the embeddings of the tables and query words can be learned from scratch. The training can be done in an end-to-end fashion, but it can take stronger guidance, e.g., the step-by-step supervision for complicated queries, and benefit from it. Neural Enquirer is one step towards building neural network systems which seek to understand language by executing it on real-world. Our experiments show that Neural Enquirer can learn to execute fairly complicated NL queries on tables with rich structures.

연구 동기 및 목표

• 구조화된 지식기반 테이블에 대한 자연어 쿼리를 파싱하고 실행할 수 있는 완전히 신경망 기반의 엔드투엔드 미분 가능한 시스템을 개발하는 것.
• 수작업으로 정의된 규칙와 사전 정의된 논리적 형태에 의존하는 기호적 의미 분석기의 한계를 극복하는 것.
• 질의-답안 쌍을 사용한 데이터 기반 학습을 통해 질의 계획 수립과 기호적 연산 모두를 학습할 수 있도록 하는 것.
• 기존에 알려진 연산을 조합하여 훈련 중에 볼 수 없었던 구성적 질의 패턴으로의 일반화를 보여주는 것.
• 다양한 메모리 레이어를 갖춘 미분 가능한 메모리 증강 프레임워크 내에서 복잡한 다단계 질의로의 신경 실행을 확장하는 것.

제안 방법

• 자연어 질의를 조밀한 벡터 표현으로 인코딩하기 위해 양방향 RNN을 사용한다.
• 지식기반 테이블의 각 항목을 분산 표현으로 임bedding하기 위해 별도의 인코더를 활용하며, 이는 테이블의 2차원 구조를 유지한다.
• 테이블 데이터에 대해 각각 다른 미분 가능한 연산을 수행하는 신경 실행자들의 연결된 파이프라인을 통해 질의를 실행한다.
• 계층적 추론을 위해 중간 실행 결과를 외부 메모리의 여러 레이어에 주석 형태로 저장한다.
• 경사 하강법을 사용하여 전체 시스템을 엔드투엔드로 최적화하며, 질의 및 테이블 임베딩, 컨트롤러 파라미터, 연산 함수를 함께 학습한다.
• 복잡한 질의에 대해 단계별 감독을 지원하여 훈련 중 더 강력한 가이던스를 제공한다.

실험 결과

연구 질문

• RQ1 완전히 미분 가능한 신경망이 구조화된 테이블에 대한 자연어 질의를 실행 가능한 연산으로 매핑할 수 있는가?
• RQ2 기존에 알려진 연산을 조합하여 훈련 중에 볼 수 없었던 구성적 질의에 대해 모델이 일반화할 수 있는가?
• RQ3 질의-답안 쌍을 사용한 엔드투엔드 학습이 의미 분석 및 실행 논리의 효과적 학습을 가능하게 하는가?
• RQ4 질의 복잡성과 테이블 구조가 증가함에 따라 모델의 성능은 어떻게 변화하는가?
• RQ5 다중 메모리 레이어를 갖춘 신경 시스템이 구성적 추론 과제에서 기호적 또는 하이브리드 접근 방식을 능가할 수 있는가?

주요 결과

• Neural Enquirer는 풍부한 구조를 지닌 합성 지식기반 테이블에서 복잡하고 구성적인 자연어 질의를 성공적으로 실행한다.
• 모델은 새로운 질의 조합에 대해 잘 일반화되며, 간단하고 기존에 알려진 연산에 기반해 훈련을 통해 구성 패턴을 효과적으로 학습한 것으로 나타난다.
• 경사 하강법을 사용한 엔드투엔드 학습을 통해 질의 임베딩, 테이블 임베딩, 신경 실행 구성 요소를 공동 최적화할 수 있다.
• 테스트 질의의 구성성이 훈련 질의를 초월할 경우에도 시스템은 뛰어난 성능을 기록하며 강력한 일반화 능력을 보여준다.
• 중간 결과를 다중 메모리 레이어에 저장함으로써 계층적 추론이 가능해지고, 복잡한 다단계 질의 실행을 지원한다.
• 기존의 접근 방식보다 질의 계획 수립과 기호적 연산을 모두 신경망화하여 수작업으로 정의된 논리적 형태에 의존하지 않음으로써 우수한 성능을 달성한다.