[논문 리뷰] Large-scale Cloze Test Dataset Created by Teachers

Qizhe Xie, Guokun Lai외 2명|arXiv (Cornell University)|2017. 11. 09.

Natural Language Processing Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 중·고등학교 교사들이 만든 대규모 클로즈 테스트 데이터셋인 CLOTH를 소개한다. 이는 언어 이해 능력을 평가하기 위해 개발되었다. 자동으로 생성된 데이터셋과는 달리, CLOTH는 어휘, 문법, 추론 능력을 시험할 수 있도록 정교하게 설계된 빈칸과 세련된 후보 선택지를 포함하고 있으며, 더 깊은 이해 능력과 더 긴 문맥 모델링 능력이 요구된다. 주요 발견은 최신 언어 모델이 인간에 비해 뚜렷이 뒤처지며, 주로 장기적 문맥 이해 능력의 한계 때문이라는 점으로, 이는 CLOTH가 NLP 시스템에 도전적인 벤치마크가 되고 있음을 확인시킨다.

ABSTRACT

Cloze tests are widely adopted in language exams to evaluate students' language proficiency. In this paper, we propose the first large-scale human-created cloze test dataset CLOTH, containing questions used in middle-school and high-school language exams. With missing blanks carefully created by teachers and candidate choices purposely designed to be nuanced, CLOTH requires a deeper language understanding and a wider attention span than previously automatically-generated cloze datasets. We test the performance of dedicatedly designed baseline models including a language model trained on the One Billion Word Corpus and show humans outperform them by a significant margin. We investigate the source of the performance gap, trace model deficiencies to some distinct properties of CLOTH, and identify the limited ability of comprehending the long-term context to be the key bottleneck.

연구 동기 및 목표

• 자동으로 생성된 클로즈 데이터셋의 한계를 해결하기 위해, 무작위로 빈칸을 선택하거나 후보 생성이 열악하여 단순하거나 모호한 질문이 생기는 문제를 방지한다.
• 실제 교육 평가를 반영하고 더 깊은 언어 이해 능력을 시험할 수 있는 대규모, 인간이 수작업으로 구성한 클로즈 테스트 데이터셋을 구축한다.
• 최신 언어 모델이 인간이 설계한 클로즈 질문에서 인간 성능에 비해 떨어지는 이유를 조사한다.
• 클로즈 스타일의 독해 과제에서 모델과 인간 간의 성능 격차의 근본 원인을 특정한다.
• 언어 모델과 기계 이해 시스템의 장기적 문맥 모델링 능력을 평가하기 위한 견고한 벤치마크를 제공한다.

제안 방법

• CLOTH는 실제 중·고등학교 영어 시험에서 유래되었으며, 교사들이 어휘, 문법, 추론과 같은 특정 언어 현상을 시험하기 위해 빈칸을 설정한다.
• 각 클로즈 질문은 맥락 문단과 빈칸이 포함된 문장, 그리고 네 개의 후보 선택지(세 개의 오답과 한 개의 정답)를 포함한다. 이 선택지는 문법적으로 올바르고 의미적으로 세련되게 선택되었다.
• 데이터셋은 세 가지 하위집합으로 나뉘어져 있다: CLOTH(전체), CLOTH-M(중간), CLOTH-H(어려움). 이는 다양한 난이도 수준에서 모델 성능을 평가하기 위해 사용된다.
• 의미적 관련성에 기반한 평균화 방법을 제안하여, 후보 답변을 맥락에 대한 의미적 관련성에 따라 가중치를 부여함으로써 모델 예측을 향상시킨다.
• 저자는 One Billion Word Corpus에서 언어 모델을 훈련하고, CLOTH에서 인간 평가자와의 성능을 비교하며, 외부 데이터와 관련성 정보의 영향을 분리하기 위해 추상화 실험을 실시한다.
• 오류 분석과 제한된 맥락 조건(예: 한 문장의 맥락)에서의 인간 평가를 통해, 장기적 맥락 모델링이 핵심적 장애물임을 검증한다.

실험 결과

연구 질문

• RQ1 최신 언어 모델이 인간이 설계한 클로즈 테스트에서 인간 성능에 비해 떨어지는 이유는 무엇인가?
• RQ2 CLOTH가 자동으로 생성된 클로즈 데이터셋보다 더 어렵게 만드는 특정 언어적 특성들은 무엇인가?
• RQ3 장거리 의존성 모델링의 실패가 CLOTH에서 모델과 인간 간의 성능 격차에 얼마나 기여하는가?
• RQ4 의미적 관련성 기반 평균화 방법은 CLOTH에서 모델 예측을 향상시키는 데 얼마나 효과적인가?
• RQ5 인간이 만든 클로즈 질문은 자동으로 생성된 질문보다 더 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• 인간은 최고의 언어 모델(1B-LM)에 비해 CLOTH에서 뚜렷이 뛰어나며, 전체 데이터셋에서 약 10%의 성능 격차를 보였다.
• 성능 격차는 주로 모델의 장기적 맥락 이해 능력 부족 때문이며, 인간도 한 문장의 맥락으로 제한될 경우 유사한 성능 저하가 발생함으로써 이를 뒷받침한다.
• 추상화 실험 결과, 관련성 정보를 제거하면 정확도가 0.583에서 0.566으로 떨어지고, 인간이 만든 데이터를 완전히 제거하면 0.543으로 떨어지며, 이는 기본 언어 모델 수준에 가까워진다.
• 모델는 자동으로 생성된 클로즈 데이터셋에서는 CLOTH에 비해 훨씬 뛰어난 성능을 보이며, 인간이 만든 질문이 더 어렵고 더 깊은 이해 능력이 요구됨을 확인시킨다.
• 의미적 관련성 기반 평균화 방법은 기본 모델보다 성능 향상을 보이며, 후보 선택지에 의미적 관련성을 통합하는 것이 가치 있음을 보여준다.
• 예측 모델의 테스트 세트에서의 F1 스코어는 36.5로, 각 문장에서 다수의 타당한 질문을 생성할 수 있음을 시사하며, 이는 데이터셋의 복잡성을 강조한다.