[논문 리뷰] Learning Recurrent Span Representations for Extractive Question Answering

Kenton Lee, Shimi Salant외 4명|arXiv (Cornell University)|2016. 11. 04.

Topic Modeling참고 문헌 15인용 수 127

한 줄 요약

RaSoR은 구문에서 모든 가능한 답변 구간을 명시적으로 점수화하기 위해 재귀적(span) 표현을 도입하여 전역 정규화와 정확한 디코딩을 가능하게 하며, 이전의 구간 기반 방법들을 넘어 SQuAD의 exact-match 및 F1을 향상시킨다.

ABSTRACT

The reading comprehension task, that asks questions about a given evidence document, is a central problem in natural language understanding. Recent formulations of this task have typically focused on answer selection from a set of candidates pre-defined manually or through the use of an external NLP pipeline. However, Rajpurkar et al. (2016) recently released the SQuAD dataset in which the answers can be arbitrary strings from the supplied text. In this paper, we focus on this answer extraction task, presenting a novel model architecture that efficiently builds fixed length representations of all spans in the evidence document with a recurrent network. We show that scoring explicit span representations significantly improves performance over other approaches that factor the prediction into separate predictions about words or start and end markers. Our approach improves upon the best published results of Wang & Jiang (2016) by 5% and decreases the error of Rajpurkar et al.'s baseline by > 50%.

연구 동기 및 목표

• 문서에서 답이 임의의 구간인 SQuAD의 추출형 QA를 고무한다.
• 모든 후보 구간을 명시적으로 표현하고 점수화하는 모델을 제안한다.
• 구간에 대한 글로벌 정규화와 그리디 탐색 없이 정확한 디코딩을 가능하게 한다.
• 이전의 구간 기반 및 시퀀스 기반 QA 모델보다 향상을 보여준다.

제안 방법

• 모든 후보 구간에 대한 확률 분포를 정의하고 각 구간을 구간 레벨 신경 점수로 점수화한다.
• 질문 중심의 패시지 임베딩을 구성하기 위해 패시지 임베딩에 패시지 정렬된(question-aligned) 및 패시지 독립적인(question-independent) 표현을 연결한다.
• 공유 서브구조 간 계산 재사용을 위해 패시지 레벨 BiLSTM을 사용하여 모든 후보 구간을 효율적으로 인코딩한다.
• 각 구간을 시작 위치와 끝 위치에서의 BiLSTM 출력을 연결한 h_a로 표현한다.
• 구간 점수는 s_a = w_a · FFNN(h_a)로 계산하고 모든 구간에 대해 소프트맥스(s)로 정규화한다.
• 정답 구간의 로그 가능도를 최대화하여 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 모든 잠재 정답 구간을 명시적으로 모델링하고 점수화하는 것이 시작/끝 예측 모델보다 QA 성능을 향상시키는가?
• RQ2 다른 질문 표현(패시지 정렬된 것 vs. 패시지 독립적인 것)이 구간 기반 QA 성능에 어떤 영향을 미치는가?
• RQ3 정확한 정답 구간을 예측하는 작업에 가장 잘 맞는 학습 목표는 무엇인가?

주요 결과

System	EM (Dev)	F1 (Dev)	EM (Test)	F1 (Test)
Logistic regression baseline	39.8	51.0	40.4	51.0
Match-LSTM (Sequence)	54.5	67.7	54.8	68.0
Match-LSTM (Boundary)	60.5	70.7	59.4	70.0
RaSoR	66.4	74.9	67.4	75.5
Human	81.4	91.0	82.3	91.2

• RaSoR은 가장 우수하게 발표된 시스템보다 더 높은 EM과 F1을 달성한다(Dev에서 RaSoR EM 66.4, F1 74.9; Test에서 67.4, 75.5).
• RaSoR은 SQuAD에서 로지스틱 회귀 기준선에 비해 오차를 50% 이상 감소시킨다.
• RaSoR은 Dev에서 가장 강력한 Match-LSTM 기준선보다 EM에서 약 5percentage points, F1에서 3.6 points 향상시켜 인간 성능 상한까지의 격차를 >50% 줄인다.
• 특성화 실험에서 패시지 정렬된 질문 표현은 성능에 결정적이며, 패시지 독립적인 표현은 더 작지만 여전히 긍정적인 기여를 제공한다.
• 끝점 간 상호 작용(구간 수준 FFNN)을 모델링하는 것이 엔드포인트 전용 변형보다 정확 일치를 더 잘 제공하며, 특히 더 긴 구간에서 두드러진다.