[논문 리뷰] Repartitioning of the ComplexWebQuestions Dataset

Alon Talmor, Jonathan Berant|arXiv (Cornell University)|2018. 07. 25.

Topic Modeling참고 문헌 6인용 수 10

한 줄 요약

이 논문은 복잡한 웹질문(v1.0) 데이터셋에서 발생하는 데이터 泄漏 문제를 규명하고 해결한다. 학습 데이터셋에서 독해 모델을 훈련시킬 경우, 훈련 및 테스트 세트 간에 겹치는 시드 질문이 존재해 인위적으로 높은 성능을 기록하게 되는 문제가 있다. 저자들은 원래의 시드 질문 수준에서 데이터를 재분할하여 새로운 버전인 ComplexWebQuestions v1.1을 제안하며, 부적절한 상관관계를 제거하고, 보정된 데이터셋을 사용해 미세조정된 DocumentQA 모델로 테스트 세트에서 정밀도@1이 34.2인 새로운 최고 성능을 달성한다.

ABSTRACT

Recently, Talmor and Berant (2018) introduced ComplexWebQuestions - a dataset focused on answering complex questions by decomposing them into a sequence of simpler questions and extracting the answer from retrieved web snippets. In their work the authors used a pre-trained reading comprehension (RC) model (Salant and Berant, 2018) to extract the answer from the web snippets. In this short note we show that training a RC model directly on the training data of ComplexWebQuestions reveals a leakage from the training set to the test set that allows to obtain unreasonably high performance. As a solution, we construct a new partitioning of ComplexWebQuestions that does not suffer from this leakage and publicly release it. We also perform an empirical evaluation on these two datasets and show that training a RC model on the training data substantially improves state-of-the-art performance.

연구 동기 및 목표

• 읽기 이해 모델이 일반화 능력이 아닌 데이터 泄漏로 인해 인위적으로 높은 성능을 기록할 수 있는 ComplexWebQuestions 데이터셋의 데이터 泄漏 문제를 규명하고 해결하기.
• 훈련 및 테스트 세트 간의 부적절한 상관관계를 제거하여 읽기 이해 모델의 평가를 공정하게 보장하기.
• 원래의 시드 질문 기반으로 데이터셋을 재분할하여 훈련 및 테스트 세트 간의 겹침을 방지하기.
• 보정된 데이터셋을 기반으로 미세조정된 읽기 이해 모델을 사용해 ComplexWebQuestions에서 새로운 최고 성능을 달성하기.
• 공정하고 재현 가능한 연구를 위해 보정된 데이터셋(v1.1)을 공개하기.

제안 방법

• WebQuestionsSP에서 유래한 원래의 시드 질문을 기반으로 예측 예제를 그룹화하여 ComplexWebQuestions 데이터셋을 재분할하기.
• 모든 시드 질문이 훈련 세트와 테스트 세트 양쪽에 동시에 존재하지 않도록 보장하여, 겹침에 기인한 부적절한 상관관계를 제거하기.
• 원래의 복잡한 질문과 그 분해된 형태를 모두 활용해 DocumentQA 읽기 이해 모델을 미세조정하여 성능 향상시키기.
• ComplexWebQuestions 훈련 세트에서 유도된 63,263개의 예제(전체 질문 및 분해된 질문 포함)를 기반으로 읽기 이해 모델을 훈련하기.
• 원래(v1.0) 및 재분할된(v1.1) 버전의 데이터셋에서 정밀도@1을 평가 지표로 사용하기.
• 다양한 질문 분해 전략(SimpQA 및 SplitQA)과 읽기 이해 모델 변형(사전학습, NoDecomp, Decomp) 간의 성능을 비교하기.

실험 결과

연구 질문

• RQ1 ComplexWebQuestions 훈련 세트에서 읽기 이해 모델을 훈련시키면, 일반화 능력이 아닌 데이터 泄漏로 인해 성능 향상이 발생하는가?
• RQ2 시드 질문 기반의 새로운 분할 전략이 훈련 및 테스트 세트 간의 부적절한 상관관계를 제거할 수 있는가?
• RQ3 보정된 데이터셋(v1.1)에서 읽기 이해 모델을 미세조정하면 성능 향상이 측정 가능하고 공정한가?
• RQ4 읽기 이해 모델 훈련 시 분해된 질문을 포함시키는 것이 전체 성능에 어떤 영향을 미치는가?
• RQ5 보정된 데이터셋과 미세조정된 읽기 이해 모델을 사용해 ComplexWebQuestions에서 새로운 최고 성능을 달성할 수 있는가?

주요 결과

• 미세조정된 읽기 이해 모델을 ComplexWebQuestions v1.0에서 훈련시킨 결과, 개발 세트에서 정밀도@1이 55.0에 도달했으며, 이는 주로 겹치는 시드 질문에 기인한 데이터 泄漏로 인한 것이었다.
• 보정된 v1.1 분할 기준으로 동일한 모델이 개발 세트에서 정밀도@1이 31.1로 떨어졌으며, 이는 v1.0에서의 높은 성능가 부적절한 상관관계에 기인함을 입증한다.
• 사전학습된 읽기 이해 모델은 두 버전 모두에서 일관된 성능(정밀도@1 20.4–20.5)을 보였으며, v1.1에서의 성능 저하가 v1.0에서의 모델 과적합 때문임을 확인한다.
• 원래 질문과 분해된 질문을 모두 훈련에 포함시킨 모델(SplitQA + Decomp)은 v1.1 개발 세트에서 정밀도@1이 35.6까지 향상되었다.
• 최종 모델(SplitQA + Decomp)은 v1.1 테스트 세트에서 정밀도@1이 34.2인 새로운 최고 성능을 달성했다.
• 보정된 데이터셋인 ComplexWebQuestions v1.1은 향후 모델의 공정하고 재현 가능한 평가를 보장하기 위해 공개되었다.