[論文レビュー] A Readable Read: Automatic Assessment of Language Learning Materials based on Linguistic Complexity

Ildikó Pilán, Sowmya Vajjala+1 more|arXiv (Cornell University)|Mar 29, 2016

Text Readability and Simplification被引用数 7

ひとこと要約

本稿では、多様な言語的特徴を用いて、スウェーデン語第二言語学習教材の言語的複雑さを5段階の難易度スケールで自動的に評価する教師あり機械学習モデルを提案する。モデルは文書レベルで81.3%の正確性を達成し、文レベルでは63.4%の正確性を示し、複数の特徴タイプを組み合わせることで7%の正確性向上を達成し、非英語圏言語分野における先行研究を上回る性能を示した。

ABSTRACT

Corpora and web texts can become a rich language learning resource if we have a means of assessing whether they are linguistically appropriate for learners at a given proficiency level. In this paper, we aim at addressing this issue by presenting the first approach for predicting linguistic complexity for Swedish second language learning material on a 5-point scale. After showing that the traditional Swedish readability measure, Lasbarhetsindex (LIX), is not suitable for this task, we propose a supervised machine learning model, based on a range of linguistic features, that can reliably classify texts according to their difficulty level. Our model obtained an accuracy of 81.3% and an F-score of 0.8, which is comparable to the state of the art in English and is considerably higher than previously reported results for other languages. We further studied the utility of our features with single sentences instead of full texts since sentences are a common linguistic unit in language learning exercises. We trained a separate model on sentence-level data with five classes, which yielded 63.4% accuracy. Although this is lower than the document level performance, we achieved an adjacent accuracy of 92%. Furthermore, we found that using a combination of different features, compared to using lexical features alone, resulted in 7% improvement in classification accuracy at the sentence level, whereas at the document level, lexical features were more dominant. Our models are intended for use in a freely accessible web-based language learning platform for the automatic generation of exercises.

研究の動機と目的

• スウェーデン語第二言語学習教材における言語的複雑さを信頼性高く評価する手法を開発すること。
• 言語学習の文脈においては不適切であるとされる伝統的なLIX読解性指標の限界を解消すること。
• 言語学習プラットフォームに適した5段階の難易度にテキストを分類するモデルを構築すること。
• 文書レベルと文レベルにおける言語的特徴の性能を評価し、複雑さ予測に寄与するかを検証すること。
• 自由に利用可能なウェブベースのプラットフォームに統合されたモデルを用いて、言語学習演習の自動生成を支援すること。

提案手法

• 語彙的、構文的、構造的要因を含む多様な言語的特徴を用いて、教師あり機械学習モデルを訓練する。
• 5段階のスケールで難易度がラベル付けされたスウェーデン語第二言語テキストのデータセットを用いて、モデルを訓練および評価する。
• 特徴工学には語彙頻度、文の長さ、節の複雑さ、語彙多様性指標を含め、言語的複雑さを捉える。
• スケーラビリティを評価するため、文書レベル（完全なテキスト）と文レベル（個々の文）の両方でモデルを評価する。
• 語彙的特徴のみを用いたモデルと、複数の特徴タイプを組み合わせたモデルの比較を行い、特徴の有効性を評価する。
• 最終的なモデルは、自動演習生成を可能にするウェブベースの言語学習プラットフォームへの統合を想定して設計されている。

実験結果

リサーチクエスチョン

• RQ1 教師あり機械学習モデルは、スウェーデン語第二言語学習テキストの5段階難易度スケールにおける言語的複雑さを信頼性高く予測できるか？
• RQ2 文書の分類と個々の文の分類において、モデルの性能にどのような差が生じるか？
• RQ3 語彙的特徴と構文的特徴などの異なる種類の言語的特徴が、分類正確性にどの程度寄与するか？
• RQ4 複数の特徴タイプを組み合わせることで、語彙的特徴のみに依存する場合よりも性能が向上するか？
• RQ5 本稿で提案するモデルは、第二言語学習教材の文脈において、LIXのような既存の読解性指標と比較してどのように優れているか？

主な発見

• 提案された機械学習モデルは、文書レベルでスウェーデン語第二言語テキストを5段階の難易度に分類する際、81.3%の正確性を達成した。
• モデルのFスコアは0.8であり、英語分野の最先端の結果と同等の優れた性能を示しており、他の言語分野の先行研究を上回る。
• 文レベルでは63.4%の正確性を達成し、隣接文の正確性は92%に達しており、直近の文脈予測において優れた性能を示している。
• 複数の特徴タイプを組み合わせることで、文レベルでの分類正確性が7%向上したが、文書レベルでは語彙的特徴が最も影響力が大きかった。
• 伝統的なLIX読解性指標は、第二言語学習教材の分類には不適切であることが判明し、より洗練された複雑さ評価の必要性が浮き彫りになった。