[論文レビュー] Large-scale Cloze Test Dataset Created by Teachers

Qizhe Xie, Guokun Lai+2 more|arXiv (Cornell University)|Nov 9, 2017

Natural Language Processing Techniques参考文献 40被引用数 4

ひとこと要約

この論文では、中高教員が作成した大規模な穴埋めテストデータセットCLOTHを紹介し、言語理解を評価するものである。自動生成されたデータセットとは異なり、CLOTHは語彙、文法、推論をテストするように巧みに設計された穴埋め問題と、洗練された代替候補を備えており、より深い理解と長い文脈モデリングを要する。主な発見は、最先端の言語モデルが人間よりも著しく性能を発揮しないことであり、主に長文脈理解の限界に起因しており、CLOTHがNLPシステムにとって挑戦的なベンチマークであることが確認された。

ABSTRACT

Cloze tests are widely adopted in language exams to evaluate students' language proficiency. In this paper, we propose the first large-scale human-created cloze test dataset CLOTH, containing questions used in middle-school and high-school language exams. With missing blanks carefully created by teachers and candidate choices purposely designed to be nuanced, CLOTH requires a deeper language understanding and a wider attention span than previously automatically-generated cloze datasets. We test the performance of dedicatedly designed baseline models including a language model trained on the One Billion Word Corpus and show humans outperform them by a significant margin. We investigate the source of the performance gap, trace model deficiencies to some distinct properties of CLOTH, and identify the limited ability of comprehending the long-term context to be the key bottleneck.

研究の動機と目的

• 自動生成された穴埋めデータセットの限界に対処すること。これらは、ランダムな穴埋め選択や劣悪な代替候補生成により、しばしば単純すぎる、または曖昧な質問を生じさせる。
• 実際の教育的評価を反映し、より深い言語理解をテストする、大規模で人間がキュレートした穴埋めテストデータセットを作成すること。
• 最先端の言語モデルが人間が設計した穴埋め質問に対して、人間の性能と比べてなぜ劣るのかを調査すること。
• 穴埋め形式の読解タスクにおいて、モデルと人間の間の性能格差の根本的原因を特定すること。
• 言語モデルや読解システムにおける長文脈モデリング能力を評価するための堅牢なベンチマークを提供すること。

提案手法

• CLOTHは、実際の中高英語試験から構築されており、語彙、文法、推論といった特定の文語的現象をテストするために教員が穴を設けたものである。
• 各穴埋め問題には、文脈パラグラフと穴の空いた文、および4つの代替候補（3つの誤り選択肢と1つの正解）が含まれており、文法的に正しく、意味的に洗練されたものである。
• データセットは3つのサブセットに分割されている：CLOTH（全量）、CLOTH-M（中程度難易度）、CLOTH-H（高難易度）、これにより、さまざまな難易度レベルでのモデル性能を評価できる。
• 文脈に対する代替候補の意味的関連性に基づいて重みを付けることで、予測精度を向上させる代表的性に基づく平均化手法が提案された。
• 著者らは、One Billion Word Corpus上で言語モデルを学習・評価し、その性能をCLOTH上で人間のアノテーターと比較した。外部データと代表的性の特徴の影響を分離するためにアブレーションスタディを実施した。
• 長文脈モデリングが性能の主なボトル neck であるという仮説を検証するために、エラー解析と制限された文脈条件（例：1文のみの文脈）における人間評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 なぜ最先端の言語モデルが人間が設計した穴埋めテストに対して、人間の性能と比べて劣るのか？
• RQ2 CLOTHが自動生成された穴埋めデータセットよりも難しいとされる、具体的な言語的特徴は何か？
• RQ3 長距離依存関係をモデル化できないことが、CLOTHにおけるモデルと人間の性能格差にどの程度寄与しているのか？
• RQ4 代表的性に基づく平均化手法は、CLOTHにおけるモデル予測の改善にどの程度効果的か？
• RQ5 人間が作成した穴埋め質問は、自動生成されたものと比べて、より信頼性のある深いつながりのある言語理解の評価ベンチマークとして機能するか？

主な発見

• 人間は、1B-LMという最高性能の言語モデルをCLOTHで約10%の性能差で上回った。
• 性能格差の主な要因は、モデルの長期的文脈理解能力の限界に起因しており、人間が1文のみの文脈に制限された場合にも同様の性能低下が見られたことから裏付けられた。
• アブレーションスタディの結果、代表的性情報を取り除くと正答率が0.583から0.566に低下し、人間が作成したデータを完全に削除すると0.543にまで低下し、ベースライン言語モデルに近づいた。
• モデルは自動生成された穴埋めデータセットよりもCLOTHで著しく高い性能を発揮しており、人間が作成した質問がより難しく、より深い理解を要することが確認された。
• 代表的性に基づく平均化手法は、ベースラインモデルを上回る性能を示し、代替候補選択における意味的関連性の組み込みの価値を示した。
• テストセットにおける予測モデルのF1スコアは36.5であり、1つの本文に対して複数の妥当な質問が生成可能であることを示しており、データセットの複雑さが浮き彫りになった。