[논문 리뷰] SQuAD: 100,000+ Questions for Machine Comprehension of Text

Pranav Rajpurkar, Jian Zhang외 2명|arXiv (Cornell University)|2016. 06. 16.

Topic Modeling참고 문헌 27인용 수 822

한 줄 요약

SQuAD는 위키피디아 문구에서의 구절을 답으로 하는 대규모 독해 데이터셋을 크라우드소싱으로 도입했다; 로지스틱 회귀 모델은 51.0% F1을 달성하며 인간 86.8% F1에 훨씬 못 미치고, 개선 여지가 크다.

ABSTRACT

We present the Stanford Question Answering Dataset (SQuAD), a new reading comprehension dataset consisting of 100,000+ questions posed by crowdworkers on a set of Wikipedia articles, where the answer to each question is a segment of text from the corresponding reading passage. We analyze the dataset to understand the types of reasoning required to answer the questions, leaning heavily on dependency and constituency trees. We build a strong logistic regression model, which achieves an F1 score of 51.0%, a significant improvement over a simple baseline (20%). However, human performance (86.8%) is much higher, indicating that the dataset presents a good challenge problem for future research. The dataset is freely available at https://stanford-qa.com

연구 동기 및 목표

• 읽기 이해를 위한 크고 고품질의 데이터셋을 제공하여 기계의 텍스트 이해를 발전시키는 것.
• 질문이 요구하는 추론 유형과 문법적 도전과제를 분석하는 것.
• 기초 모델을 확립하고 구절 기반 답변에 대해 인간과 기계의 성능을 평가하는 것.

제안 방법

• 답이 텍스트 구절인 536개의 위키피디아 단락에서 107,785개의 질문-대답 쌍을 크라우드소싱한다.
• 답변 구절을 예측하기 위해 어휘화된 특징과 의존 트리 경로 특징을 갖는 로지스틱 회귀 모델을 개발한다.
• 효율적인 점수를 가능케 하기 위해 구성 요소를 통해 후보 답을 제약한다.
• 정확일치와 F1 지표로 평가하고, 핵심 특징을 식별하기 위한 제거 실험(ablations)을 수행한다.
• 슬라이딩 윈도우 베이스라인과의 성능 비교 및 참조를 위한 인간 성능 보고를 수행한다.

실험 결과

연구 질문

• RQ1 SQuAD 질문은 어떤 종류의 추론과 문법적 차이를 포함하는가?
• RQ2 기초 머신 러닝 모델이 인간과 비교하여 답변 구절을 얼마나 잘 식별할 수 있는가?
• RQ3 이 데이터셋에서 효과적인 구절 기반 질의응답을 이끄는 특징은 무엇인가?

주요 결과

방법	정확일치(Dev)	정확일치(Test)	F1(Dev)	F1(Test)
Random Guess	1.1%	1.3%	4.1%	4.3%
Sliding Window	13.2%	12.5%	20.2%	19.7%
Sliding Win. + Dist.	13.3%	13.0%	20.2%	20.0%
Logistic Regression	40.0%	40.4%	51.0%	51.0%
Human	80.3%	77.0%	90.5%	86.8%

• SQuAD는 536개 기사에 대해 107,785 개의 Q&A 쌍을 포함하며, 답은 구절의 텍스트로 제시된다.
• 최고의 로지스틱 회귀 모델은 v1.0 개발/테스트에서 51.0% F1을 달성하고 인간의 86.8% F1과는 거리가 멀다.
• 어휘화된 특징과 의존 경로 특징이 성능에 가장 중요하다.
• 질문과 정답 문장 간의 구문 차이가 클수록 성능이 저하되지만 인간은 그렇지 않다.
• 정답의 절대 다수(약 79.3%)가 정답이 포함된 문장 내에 있어, 주요 도전은 정확한 구절을 찾는 것임을 시사한다.
• SQuAD는 이전의 수동 라벨링 RC 데이터셋보다 훨씬 크며 향후 모델에 강력한 도전을 제공한다.