[논문 리뷰] Question Answering through Transfer Learning from Large Fine-grained Supervision Data

Sewon Min, Minjoon Seo외 1명|arXiv (Cornell University)|2017. 02. 07.

Topic Modeling참고 문헌 37인용 수 18

한 줄 요약

이 논문은 대규모 스파니시-초점 질문 응답(QA) 데이터셋(SQuAD)에서의 전이 학습이 문장 수준 QA 작업에서 성능을 크게 향상시킨다는 것을 보여준다. SQuAD에서 미리 훈련된 BiDAF 모델을 미세조정함으로써, 저자들은 WikiQA(+8.0% 향상)와 SemEval-2016 Task 3A(+1.0%)에서 최신 기준 성능을 달성하였으며, 더 세밀한 감독이 더 넓은 어휘적 및 문법적 특징 학습을 가능하게 함을 보여주었다.

ABSTRACT

We show that the task of question answering (QA) can significantly benefit from the transfer learning of models trained on a different large, fine-grained QA dataset. We achieve the state of the art in two well-studied QA datasets, WikiQA and SemEval-2016 (Task 3A), through a basic transfer learning technique from SQuAD. For WikiQA, our model outperforms the previous best model by more than 8%. We demonstrate that finer supervision provides better guidance for learning lexical and syntactic information than coarser supervision, through quantitative results and visual analysis. We also show that a similar transfer learning procedure achieves the state of the art on an entailment task.

연구 동기 및 목표

• 대규모 스팬-초점 QA 데이터셋(SQuAD)에서의 전이 학습이 더 넓은 범위의 문장 수준 QA 작업에서 성능을 향상시키는지 조사하기.
• 원천 데이터셋에서의 세밀한 감독이 더 넓은 감독보다 어휘적 및 문법적 특징 학습을 위한 더 나은 유도적 편향을 제공하는지 평가하기.
• 전이 학습 접근법을 QA 외의 작업, 특히 텍스트 함의(RTE)에 확장하여 그 보편적 적용 가능성을 평가하기.
• SQuAD, SQuAD-T, SNLI와의 조합을 포함한 다양한 미리 훈련 전략의 효과를 비교하기.

제안 방법

• 10만 개의 훈련 예제를 가진 대규모 스팬 수준 QA 데이터셋인 SQuAD에서 BiDAF 모델을 미리 훈련한다.
• 목표 문장 수준 QA 데이터셋인 WikiQA와 SemEval-2016 Task 3A에서 미리 훈련된 모델을 미세조정한다.
• 목표 작업의 감독 형식과 문맥 구조와 더 잘 맞추기 위해 SQuAD의 수정된 버전인 SQuAD-T를 만든다.
• 주의 맵과 희소성 분석(식 (2)를 통해)을 사용하여 모델이 질문과 문맥 단어를 얼마나 잘 정렬하는지 시각화하고 정량화한다.
• 유사한 전이 학습 파이프라인을 SICK 텍스트 함의 데이터셋에 적용하여, SQuAD와/또는 SNLI에서 미리 훈련하고 SICK에서 미세조정한다.
• 표준 평가 지표를 사용하여 성능을 평가한다: QA 작업에는 MAP, RTE에는 정확도를 사용하며, 미리 훈련 여부에 따라 모델을 비교한다.

실험 결과

연구 질문

• RQ1 SQuAD와 같은 대규모 스팬-초점 QA 데이터셋에서의 전이 학습이 문장 수준 QA 작업에서 성능을 크게 향상시키는가?
• RQ2 SQuAD의 세밀한 감독이 다른 데이터셋의 더 넓은 감독보다 어휘적 및 문법적 특징 학습을 위한 더 나은 지침을 제공하는가?
• RQ3 스패니시 수준 QA에서 미리 훈련된 모델이 텍스트 함의(RTE)와 같은 다른 NLP 작업으로 일반화될 수 있는가?
• RQ4 원천 데이터셋의 크기와 감독의 질이 전이 성능에 어떻게 영향을 미치는가?

주요 결과

• SQuAD에서 미리 훈련된 모델은 WikiQA에서 79.90 MAP를 기록하여 이전 최고 성능 모델보다 8% 이상 높은 성능을 달성했다.
• SemEval-2016 Task 3A에서 모델은 이전 최고 성능보다 1% 향상된 성능을 기록했다.
• SQuAD 미리 훈련된 모델은 SQuAD-T 미리 훈련된 모델(0.84)보다 훨씬 낮은 주의 맵 희소성(0.56)을 보이며 더 정밀한 단어 수준 정렬을 보였다.
• 시각적 분석을 통해 SQuAD 미리 훈련된 모델이 'airbus'와 'aircraft' 또는 'aerospace' 사이의 의미적 대응을 더 잘 포착하는 것으로 나타났다.
• SICK 함의 데이터셋에서 SQuAD+SNLI에서 미리 훈련된 모델은 88.22%의 정확도를 기록하여 이전 최고 성능보다 2% 높은 성능을 달성했다.
• SQuAD+SNLI에서 미리 훈련한 모델가 SNLI에서만 미리 훈련한 모델보다 성능이 뛰어나, 규모와 세밀한 감독이 성능 향상에 기여한다는 것을 입증했다.