[논문 리뷰] Neural Multi-Step Reasoning for Question Answering on Semi-Structured Tables

Till Haug, Octavian-Eugen Ganea외 1명|arXiv (Cornell University)|2017. 02. 21.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

이 논문은 약한 지도 학습을 이용한 신경망 모델을 제안하여 반구조화된 표에서 다단계 추론을 수행한다. 자연어 질문을 해석 가능한 논리형식의 다의어 표현으로 변환하고, CNN과 이중선형 레이어를 이용한 공동 임베딩을 통해 순위를 매긴다. 이 방법은 질문-답변-표 삼중조에서 약한 지도 신호를 활용하여 WikiTableQuestions 데이터셋에서 최고 성능인 정밀도@1 38.7%를 달 đạt하였다.

ABSTRACT

Advances in natural language processing tasks have gained momentum in recent years due to the increasingly popular neural network methods. In this paper, we explore deep learning techniques for answering multi-step reasoning questions that operate on semi-structured tables. Challenges here arise from the level of logical compositionality expressed by questions, as well as the domain openness. Our approach is weakly supervised, trained on question-answer-table triples without requiring intermediate strong supervision. It performs two phases: first, machine understandable logical forms (programs) are generated from natural language questions following the work of [Pasupat and Liang, 2015]. Second, paraphrases of logical forms and questions are embedded in a jointly learned vector space using word and character convolutional neural networks. A neural scoring function is further used to rank and retrieve the most probable logical form (interpretation) of a question. Our best single model achieves 34.8% accuracy on the WikiTableQuestions dataset, while the best ensemble of our models pushes the state-of-the-art score on this task to 38.7%, thus slightly surpassing both the engineered feature scoring baseline, as well as the Neural Programmer model of [Neelakantan et al., 2016].

연구 동기 및 목표

• 골드 논리형식 애너테이션의 고비용이 요구되는 복잡한 다단계 질문에 대해 반구조화된 표에서의 추론 문제를 해결하기 위해.
• 인간이 이해할 수 있는 논리형식의 다의어 표현을 생성함으로써 해석 가능성과 모델 성능을 향상시켜 표 기반 추론을 개선하기 위해.
• 후보 순위 매기기에서 수작업으로 만든 특징이 필요 없도록, 종단간 신경망 표현을 학습함으로써 이를 제거하기 위해.
• 질문-답변-표 삼중조에서의 약한 지도 신호를 활용하여 WikiTableQuestions 벤치마크에서 최고 성능을 달성하기 위해.
• 다양한 신경망 아키텍처와 구성 요소가 표 기반 QA에서의 추론 정확도에 미치는 영향을 조사하기 위해.

제안 방법

• 후보 논리형식은 [8]의 방법을 이용해 생성되며, 질문을 람다 DCS 형식의 실행 가능한 프로그램으로 표현한다.
• 각 논리형식은 설명 가능성과 임베딩 호환성을 위해 순차적으로 자연어 다의어 표현으로 변환된다.
• 질문과 다의어 표현에 대해 단어 및 문자 수준의 임베딩을 기반으로 두 개의 병렬 CNN을 사용하여 공동 문장 임베딩을 학습한다.
• 질문과 다의어 표현 임베딩을 결합하기 위해 이중선형 상호작용 레이어를 사용한 후, 유사도 점수를 계산하기 위해 완전 연결 레이어를 적용한다.
• 가장 높은 점수를 받은 다의어 표현을 선택하고, 이를 입력 표에 적용하여 답변을 추출한다.
• 모델 앙상블 및 아블레이션 연구를 통해 성능 최적화 및 구성 요소 기여도 분석을 수행한다.

실험 결과

연구 질문

• RQ1 골드 논리형식 애너테이션 없이도 약한 지도 학습 신경망 모델이 반구조화된 표에서 다단계 추론에 강력한 성능을 달성할 수 있는가?
• RQ2 직접 형식적 표현을 사용하는 것과 비교해 논리형식의 다의어 표현이 모델 성능과 해석 가능성에 향상 효과를 주는가?
• RQ3 다른 신경망 아키텍처(CNN 대비 RNN)와 상호작용 메커니즘(이중선형 대비 완전 연결)이 추론 정확도에 어떤 영향을 미치는가?
• RQ4 문자 임베딩, 드롭아웃, 사전 학습된 단어 벡터와 같은 핵심 구성 요소가 모델 성능에 기여하는 정도는 어떠한가?
• RQ5 모델이 가장 어려움을 겪는 질문의 유형은 무엇이며, 그 이유는 무엇인가?

주요 결과

• 15개의 모델 앙상블인 CNN-FC-BILIN 모델이 논문 발표 당시 WikiTableQuestions 데이터셋에서 최고 성능인 정밀도@1 38.7%를 달성하였다.
• 최고의 단일 모델인 CNN-FC-BILIN은 정밀도@1 34.8%를 기록하여 이중선형 레이어와 완전 연결 레이어를 조합하는 것이 효과적임을 입증하였다.
• 아블레이션 연구 결과, 다의어 표현을 제거할 경우 성능이 33.1%로 떨어져, 이는 정확도 향상에 있어 다의어 표현의 중요성을 확인시켰다.
• 사전 학습된 GloVe 임베딩을 사용할 경우 랜덤 초기화 대비 성능 향상이 있었으며, 랜덤 초기화일 경우 성능은 32.4%로 떨어졌다.
• RNN 기반 문장 인코더는 CNN보다 성능이 열 劣했으며, RNN-FC-BILIN은 정밀도@1 29.6%에 머물렀다.
• 공통적인 오류는 잘못된 논리형식 생성과 낮은 순위 매기기에서 기인했으며, 특히 표의 구조나 '보다 작다'와 '작거나 같다'와 같은 미묘한 의미적 차이에 의존하는 질문에서 빈도가 높았다.