[논문 리뷰] Frustratingly Easy Natural Question Answering

Lin Pan, Rishav Chakravarti외 6명|arXiv (Cornell University)|2019. 09. 11.

Topic Modeling참고 문헌 24인용 수 15

한 줄 요약

이 논문은 BERT를 SQuAD에서 미세조정한 후 Natural Questions(NQ) 데이터셋에서 다시 미세조정하는 단순한 전이학습 접근법이 NQ에서 최신 기술 수준(SOTA) 성능을 달성함을 보여준다. 이는 400만 개의 추가 합성 예제로 훈련된 이전 SOTA 시스템을 능가한다. 이 방법에 데이터 증강 및 앙상블 전략을 결합함으로써 저자들은 짧은 답변 과제에서 59.71 F1, 긴 답변 과제에서 70.84 F1을 기록하며 새로운 SOTA를 달성했다.

ABSTRACT

Existing literature on Question Answering (QA) mostly focuses on algorithmic novelty, data augmentation, or increasingly large pre-trained language models like XLNet and RoBERTa. Additionally, a lot of systems on the QA leaderboards do not have associated research documentation in order to successfully replicate their experiments. In this paper, we outline these algorithmic components such as Attention-over-Attention, coupled with data augmentation and ensembling strategies that have shown to yield state-of-the-art results on benchmark datasets like SQuAD, even achieving super-human performance. Contrary to these prior results, when we evaluate on the recently proposed Natural Questions benchmark dataset, we find that an incredibly simple approach of transfer learning from BERT outperforms the previous state-of-the-art system trained on 4 million more examples than ours by 1.9 F1 points. Adding ensembling strategies further improves that number by 2.3 F1 points.

연구 동기 및 목표

• BERT에서의 단순한 전이학습 전략이 이전 데이터셋보다 편향이 적은 Natural Questions(NQ) 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는지 조사하기 위해.
• 거대한 합성 데이터셋에 의존하지 않고도 데이터 증강 및 앙상블 전략이 MRC 성능 향상에 얼마나 효과적인지 평가하기 위해.
• NQ에서 성능 향상을 위한 투명하고 재현 가능한 앙상블 기법을 제공하여 이전 SOTA 시스템에서의 문서화 부족 문제를 해결하기 위해.
• 알고리즘적 복잡성이 SOTA 결과를 달성하는 데 필수적이지 않음을 입증하여, MRC 분야에서 점점 커지는 모델과 데이터의 경향에 도전하기 위해.

제안 방법

• 전이학습을 통해 일반화 능력을 향상시키기 위해 SQuAD v2.0에서 BERT를 미세조정한 후 NQ 데이터셋에서 다시 미세조정하기 위해.
• 미세조정 중에 BERT 위에 Attention-over-Attention(AoA) 레이어를 적용하여 문맥적 주의 메커니즘을 향상시키기 위해.
• 최종 레이어에만 의존하는 대신, 모든 BERT 레이어 표현의 선형 조합을 사용하여 표현 학습을 향상시키기 위해.
• 모델의 강건성과 일반화 능력을 향상시키기 위해 훈련 예제를 무작위로 재배열함으로써 데이터 증강을 구현하기 위해.
• 다양한 모델 구성에서의 예측을 조합하기 위해 랜덤 시드 앙상블, 급진적 탐색, 완전 탐색 전략을 포함한 여러 앙상블 전략을 활용하기 위해.
• 예측에서 중복된 답변 스팬을 처리하기 위해 최대값, 노이즈-오르, 상호 역수 순위 합, 지수 합 전략을 적용하기 위해.

실험 결과

연구 질문

• RQ1 BERT를 SQuAD v2.0에서 미세조정한 단순한 전이학습 전략이 NQ 벤치마크에서 더 복잡한 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 합성 데이터가 필요 없이 훈련 예제를 무작위로 재배열하는 방식의 데이터 증강이 MRC 성능 향상에 기여하는가?
• RQ3 다양한 모델 구성, 포함해 성능이 낮은 변형까지 포함한 앙상블이 랜덤 시드가 다른 최상의 모델만 앙상블하는 것보다 더 우수한 일반화 성능을 낼 수 있는가?
• RQ4 NQ의 짧은 답변 및 긴 답변 과제에서 중복된 답변 스팬 처리에 가장 높은 F1을 제공하는 집계 전략은 무엇인가?
• RQ5 모델 아키텍처 및 사전학습 전략(BERT WWM, BERT SSPT 등)의 선택이 NQ에서 최종 성능에 어느 정도 영향을 미치는가?

주요 결과

• SQuAD v2.0에서 BERT를 미세조정한 후 NQ에서 다시 미세조정하는 단순한 이중 단계 전이학습 전략이 짧은 답변 과제에서 57.15 F1, 긴 답변 과제에서 67.08 F1을 기록하며, 400만 개의 합성 예제로 훈련된 이전 SOTA 시스템을 능가한다.
• BERT 미세조정 파이프라인에 Attention-over-Attention(AoA) 레이어를 추가하면 NQ 개발 세트에서 짧은 답변 F1이 57.22로, 긴 답변 F1이 68.24로 향상된다.
• 다양한 랜덤 시드로 훈련된 네 개의 모델을 앙상블하면 짧은 답변 F1이 2.59 포인트(56.14에서 58.73으로) 향상되고, 긴 답변 F1이 2.51 포인트(67.10에서 69.61로) 향상된다.
• 긴 답변 F1을 최적화하기 위해 모델 앙상블에 대한 급진적 탐색을 수행한 결과, 짧은 답변 과제에서 59.71 F1, 긴 답변 과제에서 70.84 F1을 기록하며, 완전 탐색 및 기타 집계 방법을 모두 능가한다.
• 짧은 답변에는 최대값 집계, 긴 답변에는 노이즈-오르 집계를 조합한 전략이 가장 우수한 전체 성능을 보이며, 개발-테스트 세트에서 짧은 답변 과제에서 59.71 F1, 긴 답변 과제에서 70.84 F1을 기록한다.
• 최종 앙상블는 BERT WWM + SQuAD 2 PT + AoA, BERT WWM + SQuAD 2 PT, BERT SSPT를 조합하여 NQ에서 새로운 SOTA를 달성했다. 이는 다양한, 성능이 낮은 모델을 앙상블할 경우 전체 성능 향상에 기여할 수 있음을 보여준다.