[논문 리뷰] Who did What: A Large-Scale Person-Centered Cloze Dataset

Takeshi Onishi, Hai Wang외 3명|arXiv (Cornell University)|2016. 08. 19.

Topic Modeling참고 문헌 1인용 수 29

한 줄 요약

이 논문은 200,000개 이상의 다중 선택 문제로 구성된 대규모, 인물 중심의 클로즈 독해 읽기 이해 데이터셋인 Who-did-What(WDW) 데이터셋을 소개한다. 각 문제는 요약 없이 익명화되지 않은 두 개의 별도된 뉴스 기사(본문 기사 및 질문 기사)에서 유래되었으며, 간단한 베이스라인을 억제하기 위해 필터링되었고, 이로 인해 인간 성능(84%)과 최첨단 모델 성능(55–65%) 사이에 16%의 성능 격차가 발생하여 신경망 독해 시스템에 더 도전적인 벤치마크가 되었다.

ABSTRACT

We have constructed a new "Who-did-What" dataset of over 200,000 fill-in-the-gap (cloze) multiple choice reading comprehension problems constructed from the LDC English Gigaword newswire corpus. The WDW dataset has a variety of novel features. First, in contrast with the CNN and Daily Mail datasets (Hermann et al., 2015) we avoid using article summaries for question formation. Instead, each problem is formed from two independent articles --- an article given as the passage to be read and a separate article on the same events used to form the question. Second, we avoid anonymization --- each choice is a person named entity. Third, the problems have been filtered to remove a fraction that are easily solved by simple baselines, while remaining 84% solvable by humans. We report performance benchmarks of standard systems and propose the WDW dataset as a challenge task for the community.

연구 동기 및 목표

• 기사 요약에 의존하지 않는 대규모로 확장 가능한 독해 이해 데이터셋을 구축하여 더 현실적이고 복잡한 추론을 가능하게 하기.
• 본문과 질문 생성에 별개의 두 기사를 사용하여 기존 클로즈 스타일 데이터셋보다 의미적·구문적 다양성을 높여 도전도를 강화하기.
• 간단한 베이스라인 모델(예: 가장 자주 등장하는 인물, 첫 번째 언급된 인물 등)을 억제하여 인간과 기계 간 성능 격차를 증대시켜 더 깊은 의미적 이해를 유도하기.
• 이름을 익명화하지 않고 실제 명칭을 유지함으로써 실제 독해 상황을 더 잘 반영하는 벤치마크 제공하기.
• 현재 모델 성능과 인간 성능 간의 뚜렷한 격차를 보이는 데이터셋을 통해 신경망 독해 모델 평가의 새로운 기준을 설정하기.

제안 방법

• LDC 영어 기가워드 코퍼스에서 질문 기사를 선택하고, 첫 문장의 인물 명칭을 삭제하여 클로즈 문제를 구성한다.
• 정보 검색 시스템을 활용해 질문의 첫 문장과 높은 의미적 유사도를 가지는 관련 본문 기사를 검색하여 맥락적 관련성을 확보한다.
• 검색된 본문에 포함된 명칭을 기반으로 답변 선택지를 생성하며, 익명화하지 않고 실제 인물 이름을 유지한다.
• 간단한 베이스라인 모델(예: 가장 빈도 높은 인물, 첫 번째 언급된 인물, n-gram, 유니그램 모델 등)을 유리하게 작용하는 문제를 제거하기 위해 억제 알고리즘을 적용하며, 최적화를 통해 베이스라인 성능을 무작위 성능(k = 0.32) 수준으로 제한한다.
• 시간 순서를 기반으로 최신 20,000개 문제를 검증 및 테스트 세트로 분할하여 의미적 중복을 최소화한다.
• 모델 미리학습을 위해 억제가 덜 강화된 유연한 훈련 세트를 제공하며, 주 훈련/검증/테스트 세트는 평가를 위해 완전히 억제된 상태로 유지된다.

실험 결과

연구 질문

• RQ1 요약되지 않은 별개의 뉴스 기사에서 대규모 독해 이해 데이터셋을 구성할 수 있는가? 이는 실제 독해 작업을 더 잘 반영할 수 있는가?
• RQ2 본문과 질문 생성에 별개의 두 기사를 사용할 경우, CNN/Daily Mail와 같은 요약 기반 데이터셋에 비해 의미적·구문적 도전도가 증가하는가?
• RQ3 간단한 베이스라인의 억제가 클로즈 데이터셋의 난이도를 얼마나 높일 수 있으며, 同시에 인간이 해결 가능한 수준을 유지할 수 있는가?
• RQ4 이 새로운 데이터셋에서 인간과 최첨단 신경망 모델 간의 성능 격차는 기존 벤치마크와 비교해 어떻게 나타나는가?
• RQ5 익명화 없이 실제 명칭을 유지할 경우 독해 작업의 현실성과 난이도가 향상되는가?

주요 결과

• WDW 데이터셋은 훈련 185,978개, 검증 10,000개, 테스트 10,000개의 예제로 구성되어 있으며, 평균적으로 각 질문당 3.5개의 선택지와 본문 평균 325–378토큰을 포함한다.
• 억제 조치 후 간단한 베이스라인 모델(예: 가장 자주 등장하는 인물, 첫 번째 언급된 인물)의 성능은 약 60%에서 약 32%로 감소하여 무작위 성능과 유사해졌다.
• 테스트 세트에서 인간의 성능은 84%에 달했으며, CNN의 75% 및 CBT의 82%에 비해 뚜렷하게 높아, 이 데이터셋에서 인간의 독해 능력이 뛰어나다는 것을 확인했다.
• Attentive Reader는 WDW에서 55%를 기록했고, CNN에서는 63%를 기록했으며, Attention Sum Reader는 WDW에서 59%를 기록했고 CNN에서는 70%를 기록해 일관되게 10–15%의 성능 하락을 보였다.
• Stanford Reader는 WDW에서 64%를 기록했고 CNN에서는 73%를 기록했으며, Gated-Attention Reader는 WDW에서 60%를 기록했고 CNN에서는 74%를 기록해 답변 빈도에 의존하는 모델일수록 억제 조치로 인한 영향을 더 크게 받는 것으로 나타났다.
• 인간(84%)과 최고의 신경망 모델(유연한 훈련 세트에서 65%, 완전 억제 세트에서 60%) 사이의 성능 격차는 뚜렷하게 크며, 이는 현재 모델들이 이 데이터셋에 대해 더 큰 도전에 직면해 있음을 확인한다.