[논문 리뷰] Knowledge Based Machine Reading Comprehension

Yibo Sun, Daya Guo외 5명|arXiv (Cornell University)|2018. 09. 12.

Topic Modeling참고 문헌 23인용 수 3

한 줄 요약

이 논문은 문서에서 유도된 지식 트리플(주어-서술어-목적어)과 외부 지식 기반에서 유래한 지식 트리플을 바탕으로 한 추론이 요구되는 새로운 과제인 지식 기반 기계적 독해 이해(KBMRC)를 소개한다. 저자들은 40,047개의 질문-답변 쌍으로 구성된 데이터셋을 구축하고, Freebase나 NELL과 같은 외부 지식 기반을 활용하는 질문 응답 및 질문 생성 모델을 통합한 프레임워크를 제안하며, 기존의 BiDAF와 같은 베이스라인 모델 대비 외부 지식 기반을 통합할 경우 정확도 향상이 가능하다는 것을 보여준다.

ABSTRACT

Machine reading comprehension (MRC) requires reasoning about both the knowledge involved in a document and knowledge about the world. However, existing datasets are typically dominated by questions that can be well solved by context matching, which fail to test this capability. To encourage the progress on knowledge-based reasoning in MRC, we present knowledge-based MRC in this paper, and build a new dataset consisting of 40,047 question-answer pairs. The annotation of this dataset is designed so that successfully answering the questions requires understanding and the knowledge involved in a document. We implement a framework consisting of both a question answering model and a question generation model, both of which take the knowledge extracted from the document as well as relevant facts from an external knowledge base such as Freebase/ProBase/Reverb/NELL. Results show that incorporating side information from external KB improves the accuracy of the baseline question answer system. We compare it with a standard MRC model BiDAF, and also provide the difficulty of the dataset and lay out remaining challenges.

연구 동기 및 목표

• 기존의 MRC 데이터셋이 표면적인 문맥 매칭에 의존할 뿐 깊이 있는 지식 기반 추론을 요구하지 않는 한계를 해결하기 위해.
• 문서와 외부 지식 기반에서 유도된 구조화된 지식을 바탕으로 추론이 요구되는 새로운 기계적 독해 이해 과제인 지식 기반 MRC를 개발하기 위해.
• 문서와 외부 지식 트리플을 이해해야만 답할 수 있는 40,047개의 예제로 구성된 대규모 수작업 애너테이션 데이터셋을 구축하기 위해.
• 성능 향상과 해석 가능성 향상을 위해 질문 응답 및 질문 생성 모델을 융합한 이중 모델 프레임워크를 설계하고 평가하기 위해.

제안 방법

• KBMRC 과제는 질문, 문서에서 유도된 지식 기반(kb^d), 그리고 선택적으로 외부 지식 기반(kb^e)으로 구성되며, 모두 주어-서술어-목적어 형식의 트리플로 표현된다.
• WebAssertions 기반으로 40,047개의 예제로 구성된 새로운 데이터셋을 구축하였으며, kb^d 트리플에서 올바른 답변을 수작업으로 애너테이션하였다.
• 질문 응답 모델은 질문과 답변 표현 간의 의미적 유사도를 벡터 공간에서 평가하여 후보 답변을 점수화한다.
• 질문 생성 모델은 후보 답변에 조건부로 생성된 질문과 원본 질문 간의 의미적 유사도를 측정하여 후보를 점수화한다.
• ElasticSearch를 사용한 검색을 통해 Freebase, ProBase, NELL, ReVerb 등의 외부 지식 기반을 통합하여 추론 능력을 향상시켰다.
• 다양한 모델들(예: PCNet, KVMemNet, QGNet)의 결과를 융합하여 앙상블 점수화를 통해 성능 향상을 도모하는 프레임워크를 구성하였다.

실험 결과

연구 질문

• RQ1 문맥 외부의 외부 지식 기반을 통합함으로써 기계적 독해 이해 시스템의 성능을 향상시킬 수 있는가?
• RQ2 구조화된 지식 트리플(주어-서술어-목적어)을 사용할 경우 MRC에서 추론 능력과 해석 가능성은 어느 정도 향상되는가?
• RQ3 질문 응답 및 질문 생성을 융합한 이중 모델 프레임워크는 지식 기반 MRC에서 얼마나 효과적인가?
• RQ4 현재의 지식 기반 MRC 모델의 주요 실패 원인과 한계는 무엇인가, 특히 공호성 및 장문의 실체 매칭 문제에 대해 어떻게 나타나는가?
• RQ5 NELL, ReVerb, Freebase 등의 다수의 외부 지식 기반을 통합할 경우 KBMRC의 성능과 내구성은 어떻게 영향을 받는가?

주요 결과

• NELL과 ReVerb 등의 외부 지식 기반을 통합함으로써 매칭 기반 및 질문 생성 기반 모델의 성능이 향상되었으며, PCNet 및 KVMemNet과 앙상블할 경우 각각 최대 1.5%와 0.8%의 절대적 성능 향상이 관찰되었다.
• QGNet 모델은 BLEU 점수 16.3과 P@1 41.5를 기록하여 Seq2Seq 모델(BLEU 11.2, P@1 41.3)을 능가하였으며, 특히 저빈도 어휘의 단어 복제 능력에서 뛰어난 성능을 보였다.
• QGNet과 KVMemNet을 융합한 결과 P@1 정확도 64.3%를 기록하여 생성형 모델과 분류형 모델이 효과적으로 상호 보완할 수 있음을 입증하였다.
• 오류 분석 결과, 공호성 해소 및 명명된 실체 인식이 질문-핵심 키워드 매칭 향상에 매우 중요하며, 특히 주어가 대명사 또는 장문의 실체일 경우 더욱 그렇다는 점이 확인되었다.
• ElasticSearch를 통한 외부 지식 기반 검색은 종종 부분적 실체 매칭과 모호성 문제(예: 'Louisiana'를 주로로 간주할지 기업으로 간주할지 등)를 야기하여 보다 나은 의미 해소 메커니즘이 필요하다는 점이 드러났다.