[논문 리뷰] Reading Wikipedia to Answer Open-Domain Questions

Danqi Chen, Adam Fisch외 2명|arXiv (Cornell University)|2017. 03. 31.

Topic Modeling참고 문헌 31인용 수 90

한 줄 요약

DrQA는 위키피디아에 대한 빠른 문서 검색기를 사용해 위키피디아를 유일한 지식 소스로 활용한 개방 도메인 QA를 수행하며, 여러 QA 벤치마크에서 강력한 결과를 달성하고 다중 작업 및 원거리 감독 학습의 이점을 보여준다.

ABSTRACT

This paper proposes to tackle open- domain question answering using Wikipedia as the unique knowledge source: the answer to any factoid question is a text span in a Wikipedia article. This task of machine reading at scale combines the challenges of document retrieval (finding the relevant articles) with that of machine comprehension of text (identifying the answer spans from those articles). Our approach combines a search component based on bigram hashing and TF-IDF matching with a multi-layer recurrent neural network model trained to detect answers in Wikipedia paragraphs. Our experiments on multiple existing QA datasets indicate that (1) both modules are highly competitive with respect to existing counterparts and (2) multitask learning using distant supervision on their combination is an effective complete system on this challenging task.

연구 동기 및 목표

• 위키피디아를 유일한 지식 소스로 삼는 개방 도메인 QA를 고무하고, 관련 기사 검색 및 이를 읽어 스팬 기반 정답으로 도출하는 데의 도전과제를 식별한다.
• 검색 및 대규모 기계 독해를 다루기 위해 두 구성요소로 이루어진 시스템(Document Retriever와 Document Reader)을 개발한다.
• 전이 효과와 원거리 감독 및 다중 작업 학습의 유용성을 평가하기 위해 여러 QA 데이터셋에서 시스템을 평가한다.

제안 방법

• Document Retriever: 빅그램 해싱과 TF-IDF 점수를 사용하여 관련 위키피디아 기사 소수만을 반환하는 효율적인 검색 모듈.
• Document Reader: 단락과 질문을 인코딩하는 다층 양방향 LSTM 신경망으로, 단어 임베딩, 정확 일치 신호, 품사/개체명 인식/TF 등의 특징과 정렬된 질문 임베딩을 사용하며, 답변의 스팬 시작/종점을 예측한다.
• Training: 주된 훈련에 SQuAD를 사용하고; 단락을 비-SQuAD QA 쌍과 연계하여 원거리 감독 데이터를 생성하며; DS 데이터를 SQuAD와 결합하여 다중 작업 학습을 탐구한다.
• Prediction: 검색된 문서들에서 시작 위치와 끝 위치를 바이어린 항으로 점수화하여 최상의 스팬을 선택하고, 한 문단 내에서(최대 15 토큰) 스팬을 선택한다.
• Evaluation: 먼저 SQuAD에서 구성요소를 개별적으로 평가한 후, SQuAD 개발 세트, CuratedTREC, WebQuestions, WikiMovies에 걸친 개방 도메인 QA 작업에서 전체 DrQA 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 위키피디아만으로도 모듈식 파이프라인이 텍스트를 검색하고 읽어 답변 스팬을 추출하여 개방 도메인 사실질문에 대응할 수 있는가?
• RQ2 검색 품질과 단락 수준의 기계 독해가 다양한 데이터셋에서 전체 QA 성능에 어떤 상호 작용을 보이는가?
• RQ3 원거리 감독과 다중 작업 학습을 통한 훈련이 단일 데이터셋 훈련을 넘어 개방 도메인 QA 성능을 향상시키는가?
• RQ4 개방 도메인 QA에서 단일 올바른 단락을 읽는 것(기계 독해)과 위키피디아의 여러 단락/문서를 읽는 것 사이의 차이는 무엇인가?

주요 결과

• 빅그램 해싱을 사용하는 문서 검색기가 답변을 포함하는 기사를 찾는 데 있어 내장 위키피디아 검색 API를 능가한다.
• Document Reader는 단일 모델로 SQuAD에서 강력한 결과를 달성하며, 테스트 세트에서 70.0% Exact Match와 79.0% F1에 도달하여 여러 발표된 시스템을 능가한다.
• 다중 작업 원거리 감독으로 학습될 때 DrQA의 전체 개방 도메인 QA 시스템은 SQuAD, CuratedTREC, WebQuestions, WikiMovies 전반에서 경쟁력 있는 결과를 산출하며, 많은 경우 단일 작업 학습을 능가한다.
• 원거리 감독과 다중 작업 학습은 SQuAD만으로 훈련하는 것 이상으로 의미 있는 향상을 제공하며, 동일한 지식 소스에서의 추가 도메인 관련 데이터의 이점을 시사한다.
• 개방 도메인 QA에서 단일 올바른 단락을 읽는 것과 위키피디아의 여러 단락/문서를 읽는 것 사이의 차이는 무엇인가?