[논문 리뷰] A BERT Baseline for the Natural Questions

Chris Alberti, Kenton Lee외 1명|arXiv (Cornell University)|2019. 01. 24.

Topic Modeling참고 문헌 9인용 수 97

한 줄 요약

Natural Questions에 대한 단일 모델 기반의 BERT 베이스라인으로, 짧은 답변과 긴 답변을 함께 예측하며 슬라이딩 윈도우와 널 인스턴스의 다운샘플링을 사용해 이전 베이스라인 대비 F1 점수를 향상시킨다.

ABSTRACT

This technical note describes a new baseline for the Natural Questions. Our model is based on BERT and reduces the gap between the model F1 scores reported in the original dataset paper and the human upper bound by 30% and 50% relative for the long and short answer tasks respectively. This baseline has been submitted to the official NQ leaderboard at ai.google.com/research/NaturalQuestions. Code, preprocessed data and pretrained model are available at https://github.com/google-research/language/tree/master/language/question_answering/bert_joint.

연구 동기 및 목표

• Natural Questions를 더 어려운 QA 벤치마크로 제시하고 강력한 BERT 기반 베이스라인을 확립한다.
• NQ에서 짧은 답변과 긴 답변을 함께 예측하는 단일 모델을 개발한다.
• 데이터 전처리 및 샘플링 전략을 통해 학습 효율성과 효과를 개선한다.
• 이전 NQ 베이스라인 대비 상당한 개선을 입증하고 인간 성능 경계에 접근한다.

제안 방법

• SQuAD 1.1에서 미세조정된 BERT 모델에서 초기화한다.
• 문서에 512토큰 창을 스트라이드 128로 슬라이드하여 학습 인스턴스를 생성한다.
• 훈련 데이터를 균형 있게 만들기 위해 null(답이 없음) 인스턴스를 50배 다운샘플링한다.
• 모델에 문서 구조를 신호하기 위해 원자 마크업 토큰 [Paragraph=N], [Table=N], [List=N]을 도입한다.
• 시작(start), 끝(end), 및 정답 형식(짧은/긴/예/아니오/답 없음)을 단일 모델에서 함께 예측한다.
• 스팬은 g(c,s,e) = f_start(s,c) + f_end(e,c) - f_start([CLS],c) - f_end([CLS],c) 의 점수로 순위가 매겨진다.
• 예측을 단일 짧은 답변으로 한정하고 긴 답변/없음 조정은 평가 스크립트에 맡긴다.

실험 결과

연구 질문

• RQ1 단일 BERT 모델이 Natural Questions에서 짧은 답변과 긴 답변을 효과적으로 함께 예측할 수 있는가?
• RQ2 윈도잉(windowing), 널-다운샘플링, 구조적 마크업이 이전 베이스라인에 비해 NQ에서 QA 성능을 향상시키는가?
• RQ3 시작/끝/타입 결합 목표로 학습하는 것이 NQ 작업(짧은/긴/예/아니오/답 없음)에 미치는 영향은 무엇인가?

주요 결과

• BERT 공동 모델은 이전 NQ 베이스라인보다 상당히 우수하며 긴 답변에서 인간 상한의 격차를 30%, 짧은 답변에서 50%까지 좁힌다.
• 다수의 널 인스턴스에도 불구하고 비-null과 다운샘플링된 null 인스턴스의 균형 잡힌 혼합을 사용한 교육으로 효과적인 학습을 가능하게 한다.
• 모델은 DocumentQA, DecAtt + DocReader 및 이전 NQ 베이스라인과 비교해 dev/test F1 향상을 강하게 달성한다.
• 해당 방법은 긴 답변과 짧은 답변 작업 모두에서 여전히 주목할 만한 여지가 있으며(20 F1 포인트 이상), 추가 개선의 여지를 시사한다.