[논문 리뷰] Neural Generative Question Answering

Jun Yin, Xin Jiang외 4명|arXiv (Cornell University)|2015. 12. 04.

Topic Modeling참고 문헌 20인용 수 33

한 줄 요약

이 논문은 외부 지식기반 검색과 시퀀스-투-시퀀스 학습을 결합한 엔드 투 엔드 신경망 생성 질문-답변 모델인 genQA를 제안한다. 모델은 일반 단어 생성과 지식기반 전용 용어 검색 간에 동적으로 전환함으로써 유창하고 사실적으로 정확한 답변을 생성하며, 사실관계 질문에 대한 실세계 데이터셋에서 임bedding 기반 QA 및 신경 대화 모델보다 뛰어난 성능을 보인다.

ABSTRACT

This paper presents an end-to-end neural network model, named Neural Generative Question Answering (GENQA), that can generate answers to simple factoid questions, based on the facts in a knowledge-base. More specifically, the model is built on the encoder-decoder framework for sequence-to-sequence learning, while equipped with the ability to enquire the knowledge-base, and is trained on a corpus of question-answer pairs, with their associated triples in the knowledge-base. Empirical study shows the proposed model can effectively deal with the variations of questions and answers, and generate right and natural answers by referring to the facts in the knowledge-base. The experiment on question answering demonstrates that the proposed model can outperform an embedding-based QA model as well as a neural dialogue model trained on the same data.

연구 동기 및 목표

• 외부 지식기반 사실을 사용하여 사실관계 질문에 자연어 답변을 생성하는 엔드 투 엔드 신경망 모델을 개발하는 것.
• 순수 신경망 모델이 이질적이고 분리된 사실을 저장하고 검색하는 데 한계가 있음을 해결하기 위해 외부 지식기반을 통합하는 것.
• 모델이 언제 일반 단어를 생성할지, 언제 지식기반에서 용어를 검색할지 동적으로 결정할 수 있도록 하는 것.
• 질문-답변 쌍과 관련 지식기반 삼중항을 함께 훈련시켜 언어 생성과 사실 내용 간의 일치를 보장하는 것.
• 임베딩 기반 QA 및 신경 대화 모델과 같은 기존 방법보다 생성 질문-답변 작업에서 성능을 뛰어나게 하는 것.

제안 방법

• 모델는 입력 질문을 맥락 벡터로 처리하는 인코더를 갖는 시퀀스-투-시퀀스 학습을 위한 인코더-디코더 프레임워크를 사용한다.
• 디코더는 일반 단어 생성 확률과 지식기반에서 용어 검색 확률을 제어하는 게이팅 메커니즘을 갖춘다.
• 지식기반 검색은 질문과 관련된 삼중항(주어, 서술어, 목적어)을 식별하는 신경망 어텐션 메커니즘을 통해 수행된다.
• 모델는 질문-답변 쌍과 그에 해당하는 지식기반 삼중항을 함께 훈련시켜 생성 및 검색 구성 요소의 엔드 투 엔드 최적화를 가능하게 한다.
• 추론 시에는 길이 정규화를 적용한 비트 서치를 사용하여 간결하고 높은 가능성의 답변을 생성한다.
• 지식기반 단어(예: '존 말코비치')와 자연어 맥락(예: '그는...')의 조합을 지원함으로써 자연스럽고 사실에 기반한 응답을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경 생성 모델이 시퀀스-투-시퀀스 학습과 외부 지식기반 검색을 효과적으로 조합하여 사실관계 질문에 정확하고 자연스러운 답변을 생성할 수 있는가?
• RQ2 모델은 질문과 답변의 언어적 다양성을 어떻게 다루며, 동시에 지식기반과의 사실 일치성을 유지할 수 있는가?
• RQ3 명시적인 지식기반 액세스를 통합함으로써 임베딩 기반 또는 대화 기반 신경망 모델보다 성능 향상이 이루어지는가?
• RQ4 모델이 일반 단어 생성과 지식기반 용어 검색 간에 전환할 수 있는 능력이 답변의 자연스러움과 정확도를 얼마나 향상시키는가?
• RQ5 모델이 잘못되거나 부분적으로 올바른 삼중항을 검색했을 경우의 실패 유형은 무엇이며, 이는 답변 품질에 어떤 영향을 미치는가?

주요 결과

• genQA 모델은 동일한 데이터셋에서 훈련된 임베딩 기반 QA 모델과 신경 대화 모델보다 질문-답변 작업에서 뛰어난 성능을 보였다.
• 다양한 테스트 예시를 통해 정확한 지식기반 단어를 검색하고 적절한 일반 단어와 조합함으로써 모델이 자연스럽고 흐름이 자연스러운 답변을 성공적으로 생성하는 것으로 나타났다.
• 정확한 지식기반 삼중항이 검색되었음에도 불구하고, 약 8%의 생성 답변에서 잘못된 또는 부적절한 일반 단어가 포함되어 있었다.
• 어떤 경우에서는 잘못된 삼중항을 검색하여(예: 영화의 배급사와 개봉일을 혼동함), 사실적으로 잘못된 답변을 생성하는 경우가 있었다.
• 모델의 성능은 지식기반 삼중항의 품질과 질문과 관련 사실 간의 일치도에 민감하게 영향을 받으며, 정확한 지식기반 구축의 중요성을 부각시켰다.
• 길이 정규화를 적용한 비트 서치는 더 짧은 답변을 선호하여, 데이터셋에서 일반적으로 짧은 답변이 주어지는 경향과 일치한다.