[논문 리뷰] Embracing data abundance: BookTest Dataset for Reading Comprehension

Ondřej Bajgar, Rudolf Kadlec외 1명|arXiv (Cornell University)|2016. 10. 04.

Topic Modeling참고 문헌 27인용 수 56

한 줄 요약

이 논문은 CBT보다 60배 큰 독해 데이터셋인 BookTest를 소개한다. 이 데이터셋을 통해 더 강력한 모델을 훈련시킬 수 있다. BookTest에서 Attention-Sum Reader를 훈련시킨 결과, 이전의 모델 아키텍처 개선 방식보다 CBT에서 14.8%의 정확도 향상을 달성하였으며, 이름표시된 실체 CBT 하위집합에서는 페이스북의 인간 기준을 초월한 앙상블 모델을 확보하였다. 또한 인간 연구를 통해 여전히 향상 여지가 있음을 확인하였다.

ABSTRACT

There is a practically unlimited amount of natural language data available. Still, recent work in text comprehension has focused on datasets which are small relative to current computing possibilities. This article is making a case for the community to move to larger data and as a step in that direction it is proposing the BookTest, a new dataset similar to the popular Children's Book Test (CBT), however more than 60 times larger. We show that training on the new data improves the accuracy of our Attention-Sum Reader model on the original CBT test data by a much larger margin than many recent attempts to improve the model architecture. On one version of the dataset our ensemble even exceeds the human baseline provided by Facebook. We then show in our own human study that there is still space for further improvement.

연구 동기 및 목표

• 다양한 자연어 코퍼스가 존재하는 바에도 불구하고, 텍스트 이해 연구에서 대규모 데이터의 활용이 부족한 문제를 해결하기 위해.
• 실제 세계의 데이터 풍부함을 모방할 수 있도록, 훨씬 더 큰 새로운 데이터셋인 BookTest를 제안하기 위해.
• 작은 데이터셋에서의 아키텍처 혁신보다 데이터 규모 자체가 더 큰 성능 향상을 이끌 수 있음을 입증하기 위해.
• BookTest와 같은 더 큰 관련 데이터셋에서 훈련된 모델이 CBT와 같은 표준 벤치마크로 일반화되는지 평가하기 위해.
• 대규모 인간 연구를 통해 최첨단 모델과 인간 성능 사이의 격차를 조사하기 위해.

제안 방법

• BookTest 데이터셋은 CBT와 유사한 방법을 사용하여, 어린이 책의 방대한 코퍼스에서 오름형 질문을 생성한다.
• 이 데이터셋은 1,400만 개 이상의 예제를 포함하고 있어 원래 CBT 데이터셋보다 60배 이상 크다.
• Attention-Sum Reader 모델이 BookTest 데이터에서 훈련되고 표준 CBT 테스트 분할에서 평가된다.
• 이 모델은 답변 예측 시 관련된 문맥 문서 부분에 주의를 기울이는 주의 메커니즘을 사용한다.
• 특히 도전적인 예제에서 일반화와 강건성을 향상시키기 위해 모델의 앙상블을 구성한다.
• 100개의 이전에 잘못 분류된 CBT 질문(50개의 이름표시된 실체, 50개의 일반 명사)을 대상으로 인간 연구를 수행하여 잔여 성능 격차를 평가한다.

실험 결과

연구 질문

• RQ1 CBT보다 60배 큰 데이터셋에서 훈련하면, 원래 CBT 데이터에서의 아키텍처 개선 방식보다 훨씬 더 큰 성능 향상을 이끌 수 있는가?
• RQ2 도메인 이동이 존재하는 바에도 불구하고, 더 큰 관련 데이터셋(BookTest)에서 훈련하면 표준 CBT 벤치마크로의 일반화가 향상되는가?
• RQ3 BookTest에서 훈련된 모델이 페이스북에서 보고한 CBT 이름표시된 실체 하위집합에서 인간 성능 기준을 초월할 수 있는가?
• RQ4 CBT 데이터셋에서 최첨단 모델과 인간 성능 사이의 잔여 격차는 무엇인가?
• RQ5 현재 모델이 해결하지 못하지만 인간은 올바르게 답할 수 있는 예제들이 여전히 존재하는가? 이는 향후 개선 여지가 있음을 시사한다.

주요 결과

• BookTest에서의 훈련은 CBT 테스트 세트에서 Attention-Sum Reader의 정확도를 14.8% 향상시켰으며, 원래 CBT 데이터에서 아키텍처 개선으로 달성한 2.1% 향상보다 훨씬 높았다.
• BookTest에서 훈련된 모델 앙상블은 페이스북에서 보고한 CBT 이름표시된 실체 하위집합의 인간 기준을 초월하였다.
• CBT의 일반 명사 하위집합에서는 96% 이상의 정확도를 달성하여 이 하위집합에서 강력한 성능을 보였다.
• 인간 연구 결과, 모델이 이전에 잘못 분류한 66%의 이름표시된 실체 질문과 82%의 일반 명사 질문이 인간에 의해 정확하게 해결되었으며, 이는 여전히 성능 격차가 존재함을 시사한다.
• 모델과 인간 예측을 조합한 시스템은 이름표시된 실체 검증 및 테스트 세트에서 92% 이상의 정확도를 달성했고, 일반 명사 세트에서는 96% 이상의 정확도를 기록하여 향후 개선 잠재력이 여전히 존재함을 시사한다.