[논문 리뷰] Stochastic Answer Networks for SQuAD 2.0

Xiaodong Liu, Wei Li외 4명|arXiv (Cornell University)|2018. 09. 24.

Topic Modeling참고 문헌 13인용 수 18

한 줄 요약

이 논문은 SQuAD 2.0에서 기계적 독해를 위한 확률적 답변 네트워크(SAN)를 확장한 공동 학습 프레임워크를 제안한다. 스파니시드 탐지기와 이진 비답변 가능 분류기를 함께 훈련시켜, ELMo와 같은 대규모 사전 훈련된 언어 모델을 사용하지 않고도 최고 성능을 달성한다. 개발 세트에서 EM 점수 69.27, F1 점수 72.20을 기록하며, 비답변 가능 질문을 다루는 데 있어 공동 최적화의 효과를 입증한다.

ABSTRACT

This paper presents an extension of the Stochastic Answer Network (SAN), one of the state-of-the-art machine reading comprehension models, to be able to judge whether a question is unanswerable or not. The extended SAN contains two components: a span detector and a binary classifier for judging whether the question is unanswerable, and both components are jointly optimized. Experiments show that SAN achieves the results competitive to the state-of-the-art on Stanford Question Answering Dataset (SQuAD) 2.0. To facilitate the research on this field, we release our code: https://github.com/kevinduh/san_mrc.

연구 동기 및 목표

• 기존 모델의 핵심 한계인 기계적 독해에서 비답변 가능 질문을 탐지하는 문제를 해결하기 위해.
• 스파니시드 탐지기와 비답변 가능성 분류기를 공동으로 훈련시켜 모델의 일반화 능력과 견고성을 향상시키기 위해.
• ELMo와 같은 대규모 사전 훈련된 언어 모델에 의존하지 않는 간단하면서도 효과적인 아키텍처를 개발하기 위해.
• 스파니시드 탐지와 비답변 가능성 예측의 공동 최적화가 SQuAD 2.0에서의 전체 성능 향상에 기여함을 입증하기 위해.

제안 방법

• 스파니시드 탐지 및 비답변 가능성 분류를 위한 작업별 상위 레이어를 갖춘 공유된 하위 레이어(어휘 인코딩, 문맥 인코딩, 메모리 생성)를 갖춘 SAN의 확장.
• 어휘 인코딩은 300D GloVe 임베딩, 16D POS, 8D NER, 4D 하드 룰 특징을 사용하며, 소프트 매칭을 위한 질문 강화된 문장 임베딩을 적용한다.
• 문맥 인코딩은 CoVe 벡터를 연결하여 개선된 문맥 표현을 얻기 위해 이중 레이어 BiLSTM를 사용한다.
• 비답변 가능성 분류기는 질문-문장 쌍이 비답변 가능한지 이원 분류를 수행하는 일중층 피드포워드 네트워크이다.
• 스파니시드 탐지와 이진 분류의 다중 작업 손실을 사용하여 공동 훈련을 수행하며, 두 목표를 균형 잡는 하이퍼파라미터 λ를 사용한다.
• 추론 과정에서 분류기가 비답변 가능성 확률이 0.5 초과로 예측하면 답변을 NULL로 설정한다.

실험 결과

연구 질문

• RQ1 스파니시드 탐지와 비답변 가능성 질문 분류의 공동 최적화가 별도 훈련 대비 SQuAD 2.0에서 성능 향상에 기여하는가?
• RQ2 ELMo와 같은 대규모 사전 훈련된 언어 모델을 사용하는 최고 성능 모델과 비교해 본 모델의 성능은 어떠한가?
• RQ3 비답변 가능성 분류기를 전용으로 통합함으로써 답변 스팬 탐지 성능 저하 없이 비답변 가능 질문 탐지 능력이 향상되는가?
• RQ4 공동 훈련 설정에서 스파니시드 탐지와 비답변 가능성 분류 목표 간 최적의 균형은 무엇인가?
• RQ5 ELMo를 사용하지 않고도 공동 학습과 아키텍처 설계를 통해 SQuAD 2.0에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 공동 모델(Joint SAN)은 SQuAD 2.0 개발 세트에서 단일 SAN 기준선 대비 EM 점수 +1.38(69.27 대비 67.89), F1 점수 +1.52(72.20 대비 70.68) 향상되었다.
• 추론 시 분류기 출력을 추가한 Joint SAN + Classifier는 F1 점수에 추가로 +0.46 향상(72.66)을 기록하여 명시적 비답변 가능성 예측의 이점을 입증했다.
• 개발 세트에서 임계값 0.5에서 비답변 가능성 분류기는 75.3%의 정확도를 기록했으며, λ=1.5일 경우 76.8%로 상승했다.
• ELMo를 사용하지 않고도 개발 세트에서 최고 성능을 달성했으며, R.M-Reader + Verifier와 같은 복잡한 모델보다 F1 점수 0.7점 높게 기록했다.
• 공동 학습이 두 구성 요소 모두를 향상시킴을 입증했다: 모델이 NULL을 예측할 경우 분류기는 항상 높은 비답변 가능성 확률을 할당했다.
• ELMo는 상당한 성능 향상을 가져다준다(예: DocQA에서 F1 점수 +2.8), 향후 ELMo 통합으로 성능 향상이 추가로 기대된다.