[논문 리뷰] BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions

Christopher Clark, Kenton Lee외 4명|arXiv (Cornell University)|2019. 05. 24.

Topic Modeling참고 문헌 39인용 수 209

한 줄 요약

본 논문은 BoolQ를 도입한다. 이는 자연적으로 발생하는 예/아니오 질문과 위키피디아 구절이 짝지어진 데이터셋으로, 이들이 상당한 추론이 필요하며 전이 학습이 기저 모델보다 성능을 향상시킨다는 것을 보여준다.

ABSTRACT

In this paper we study yes/no questions that are naturally occurring --- meaning that they are generated in unprompted and unconstrained settings. We build a reading comprehension dataset, BoolQ, of such questions, and show that they are unexpectedly challenging. They often query for complex, non-factoid information, and require difficult entailment-like inference to solve. We also explore the effectiveness of a range of transfer learning baselines. We find that transferring from entailment data is more effective than transferring from paraphrase or extractive QA data, and that it, surprisingly, continues to be very beneficial even when starting from massive pre-trained language models such as BERT. Our best method trains BERT on MultiNLI and then re-trains it on our train set. It achieves 80.4% accuracy compared to 90% accuracy of human annotators (and 62% majority-baseline), leaving a significant gap for future work.

연구 동기 및 목표

• 자연스럽게 발생하는 예/아니오 질문을 구성하여 추론적 읽기 이해를 평가하고 테스트한다.
• 이 질문들을 답하기 위해 필요한 추론의 유형을 특징화한다.
• 예/아니오 QA에 대한 전이 학습 전략을 평가하고 효과적인 사전 학습 소스를 식별한다.

제안 방법

• BoolQ를 자연 질문 수집을 확장하여 답이 구절을 통해 표시되는 예/아니오 질문으로 구성한다.
• 구절 발췌를 포함하여 질문의 답 가능성과 예/아니오 레이블을 주석 처리한다.
• 함의 데이터, 의역, 추출형 QA 소스에서의 전이 학습과 비감독 사전 학습을 포함한 실험을 한다.
• BoolQ에 대해 모델을 미세조정하고 단일 단계 대 다중 단계 사전 학습의 차이를 비교한다.
• 질문/구절 신호를 분석하고 MultiNLI와 같은 데이터로의 사전 학습이 BoolQ 성능에 어떤 영향을 미치는지 연구한다.

실험 결과

연구 질문

• RQ1 자연적으로 발생하는 예/아니오 질문에 대해 짧은 구절로부터 충분한 비-trivial 추론으로 신뢰성 있게 답할 수 있는가?
• RQ2 어떤 외부 데이터 소스(함의, QA, 의역, 비지도 사전 학습)가 BoolQ로의 전이에서 가장 효과적인가?
• RQ3 BoolQ 단독으로 학습하는 것과 전이 학습의 비교에서 다중 단계 사전 학습은 어떤 차이를 보이는가?
• RQ4 BoolQ에 가장 중요한 추론 유형은 어떤 것들인가(의역, 사실적 추론, 암시/누락 언급 등)?
• RQ5 BoolQ에서 기계적 정확도와 인간 정확도 간의 차이는 어느 정도인가?

주요 결과

• BoolQ는 도전적이다: 최적 모델의 정확도는 80.43%이고 인간 정확도는 90%이며 다수결 기준은 62.31%이다.
• 함의 데이터(MultiNLI, SNLI)에서의 전이가 의역 또는 추출형 QA 데이터에서의 전이보다 일반적으로 더 큰 이득을 준다.
• BERT로의 비지도 사전 학습과 두 단계 체계(먼저 MultiNLI로 사전 학습한 뒤 BoolQ를 미세조정)에서 상당한 이득이 나타나며, MultiNLI는 BERT에 직교하는 신호를 기여한다.
• 단일 단계의 MultiNLI 전이가 많은 다른 소스보다 우수하며, MultiNLI 사전 학습 후 BoolQ 미세조정의 조합이 최고 성능을 달성한다.
• 질문만으로는 한계가 있으며 구절이 답 예측에 필수 정보를 제공한다는 것을 시사한다.
• BoolQ의 형식과 유사한 작업(예: 문장 쌍)에서의 전이가 함의 기반 전이보다 항상 우수하지는 않으며, 함의 데이터가 여전히 큰 이점을 제공한다.