[논문 리뷰] Incorporating External Knowledge into Machine Reading for Generative Question Answering

Bin Bi, Chen Wu외 4명|arXiv (Cornell University)|2019. 09. 06.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 질문, 파assage, 어휘, 외부 지식의 네 가지 소스에서 동적으로 선택하여 자연어 답변을 생성하는 신경망 모델 KEAG를 제안한다. 소스 선택기와 확률적 사실 선택을 통해 이루어지며, 상징적 지식을 효과적으로 통합함으로써 지식에 의존하지 않는 모델과 기존의 지식 인식 모델보다도 유의미하게 답변 품질을 향상시킨다.

ABSTRACT

Commonsense and background knowledge is required for a QA model to answer many nontrivial questions. Different from existing work on knowledge-aware QA, we focus on a more challenging task of leveraging external knowledge to generate answers in natural language for a given question with context. In this paper, we propose a new neural model, Knowledge-Enriched Answer Generator (KEAG), which is able to compose a natural answer by exploiting and aggregating evidence from all four information sources available: question, passage, vocabulary and knowledge. During the process of answer generation, KEAG adaptively determines when to utilize symbolic knowledge and which fact from the knowledge is useful. This allows the model to exploit external knowledge that is not explicitly stated in the given text, but that is relevant for generating an answer. The empirical study on public benchmark of answer generation demonstrates that KEAG improves answer quality over models without knowledge and existing knowledge-aware models, confirming its effectiveness in leveraging knowledge.

연구 동기 및 목표

• 기존의 생성적 QA 모델이 단지 파assage 텍스트에 의존하여 공통 지식이나 배경 지식을 통합하지 못하는 한계를 해결하기 위해.
• 질문에 명시적으로 기재되지 않은 사실이라도 지식 기반에서 외부 지식을 선택적으로 활용할 수 있는 신경망 아키텍처를 설계하기 위해.
• 의미적 관련성에 기반하여 언제 어떤 지식 사실을 사용할지 학습함으로써 유창하고 개성 있는 답변을 생성할 수 있도록 하기 위해.
• 각 생성된 단어의 원천을 추적함으로써 해석 가능성을 제공하고, 답변에서 지식 사용에 대한 증거를 명시적으로 제공하기 위해.

제안 방법

• KEAG는 각 디코딩 단계에서 네 가지 소스(질문, 파assage, 어휘, 지식) 중에서 다음 단어를 어디서 가져올지 결정하기 위해 이산 잠재 변수를 사용하는 소스 선택기를 사용한다.
• 지식 통합을 위해 KEAG는 질문과 컨텍스트에 대한 의미적 유사도를 기반으로 지식 기반에서 관련 사실을 먼저 검색한다.
• 잠재 변수를 가진 확률적 사실 선택기는 검색된 집합에서 가장 관련성이 높은 사실을 샘플링하여, 이산 선택에도 불구하고 미분 가능 학습을 가능하게 한다.
• 모델은 전체 아키텍처를 끝에서 끝까지 미분 가능한 샘플링 기반 학습 방법을 사용하여 훈련하며, 사실 선택을 위한 이산 잠재 변수까지 포함한다.
• 선택된 소스에서 단어가 생성되며, 어휘 단어는 유창성을 확보하기 위해 기능어와 문장 구조에 사용된다.
• 모델은 네 가지 소스의 정보를 동적으로 융합하는 다중 소스 어텐션 메커니즘을 통해 순차적-순차적 모델링을 확장한다.

실험 결과

연구 질문

• RQ1 생성적 QA 모델이 외부 상징적 지식을 효과적으로 통합하여 단지 파assage 텍스트에 의존하는 모델보다 더 높은 품질의 답변을 생성할 수 있는가?
• RQ2 신경망 모델이 답변 생성 중에 외부 지식을 사용할지 텍스트 컨텍스트를 사용할지 동적으로 결정할 수 있는가?
• RQ3 명시적인 지식 통합이 개성 있는 QA에서 답변의 유창성, 정확성, 그리고 해석 가능성에 기여하는 정도는 어떠한가?
• RQ4 이산 잠재 변수를 가진 사실 선택을 위한 신경 생성 프레임워크에서 미분 가능한 학습 방법을 설계할 수 있는가?

주요 결과

• KEAG는 MARCO 벤치마크에서 Rouge-L 점수 51.68을 기록하여 지식에 의존하지 않는 모델과 기존의 지식 인식 모델보다 유의미하게 높은 성능을 보였다.
• 보조 지식을 제거하면 Rouge-L 점수가 49.98로 떨어지며, 이는 외부 지식이 답변 품질 향상에 핵심적인 기여를 한다는 것을 입증한다.
• 사실 선택을 위한 잠재 지표를 제거하면 Rouge-L 점수는 5% 감소하고 Bleu-1은 6% 감소하여, 미분 가능한 학습 방법의 효과성을 확인한다.
• 소스 선택기를 제거하면 성능이 극적으로 38.33 Rouge-L로 떨어지며, 이는 소스 선택기가 소스 사용 균형을 유지하는 데 핵심적인 역할을 한다는 것을 입증한다.
• 시각화 결과에서 KEAG는 'personality' 같은 핵심 용어를 지식에 할당하고, 'disorder'는 파assage에 할당하며, 기능어는 어휘에 할당하여 의미적이고 문법적으로 올바른 답변을 생성함을 확인할 수 있었다.
• 모델는 단지 자연스럽기만 한 것이 아니라, 외부 지식에서 유래한 증거가 명시적으로 출력에 추적 가능한 실질적으로 정확한 답변을 생성한다.