[論文レビュー] Automatic Difficulty Classification of Arabic Sentences

Nouran Khallaf, Serge Sharoff|arXiv (Cornell University)|Mar 7, 2021

Text Readability and Simplification参考文献 32被引用数 8

ひとこと要約

本稿では、現代標準アラビア語の文レベル難易度分類器を初めて提案する。アラビア語-BERTを微調整してCEFR習得レベル（A、B、C）を予測するか、二値難易度（簡単 vs. 複雑）を分類する。3値CEFR分類ではF1スコア0.80、二値分類では0.94を達成し、文脈的な埋め込み表現が従来の言語的特徴量やベースラインモデルを上回ることを示した。

ABSTRACT

In this paper, we present a Modern Standard Arabic (MSA) Sentence difficulty classifier, which predicts the difficulty of sentences for language learners using either the CEFR proficiency levels or the binary classification as simple or complex. We compare the use of sentence embeddings of different kinds (fastText, mBERT , XLM-R and Arabic-BERT), as well as traditional language features such as POS tags, dependency trees, readability scores and frequency lists for language learners. Our best results have been achieved using fined-tuned Arabic-BERT. The accuracy of our 3-way CEFR classification is F-1 of 0.80 and 0.75 for Arabic-Bert and XLM-R classification respectively and 0.71 Spearman correlation for regression. Our binary difficulty classifier reaches F-1 0.94 and F-1 0.98 for sentence-pair semantic similarity classifier.

研究の動機と目的

• 現代標準アラビア語の文レベル難易度分類器を初めて開発し、アラビア語学習におけるNLP分野の空白を埋める。
• 従来の言語的特徴量から最先端のニューラル埋め込みまで、さまざまな文表現手法がアラビア語文の難易度予測にどの程度有効であるかを評価する。
• 初心者学習者に不適切な複雑な文を正確に特定することで、自動テキスト簡略化およびカリキュラムベースの評価を可能にする。
• 学習者コーパスや教科書など複数のソースから得たデータを基に、文レベルの難易度アノテーションを含む新規で高品質なデータセットを構築する。
• 異なるコーパス間でのモデルの汎用性を検討し、言語的特徴量のプローブを用いてディープラーニングモデルの解釈可能性を評価する。

提案手法

• 学習者コーパスと教科書の文書レベルアノテーションをヒューリスティクスと再アノテーションを用いて個々の文にマッピングし、合計22,740文のCEFRレベル（A、B、C）をアノテートした新しいデータセットを構築した。
• POSタグ、依存構造、語彙頻度（Buckwalter & ParkinsonおよびAl-Kitaab語彙リストからのデータ）、読解性スコア（例：Dawood、Al-Heeti、AARI-Base）を含む包括的な言語的特徴量を抽出した。
• fastText、mBERT、XLM-R、およびアラビア語-BERTの複数の文埋め込みモデルを評価し、後者を難易度分類タスクに微調整した。
• 3値CEFR分類（A、B、C）と二値分類（簡単 vs. 複雑）という2つの分類問題に加え、連続的な難易度スコアを予測する回帰問題としても定式化した。
• 特徴量の寄与度を評価するためのアブレーションスタディを実施し、従来の機械学習（SVM、ロジスティック回帰）とディープラーニング手法を比較してモデルを訓練した。
• データセットのクリーニングに、Di Bariらのマルチクラス分類器の合意戦略を適用し、SVM、ランダムフォレスト、ロジスティック回帰を用いて誤標記を検出し、専門家による検証を通じて是正を行った。

実験結果

リサーチクエスチョン

• RQ1 微調整されたアラビア語-BERTは、他の事前学習済み言語モデルや従来の言語的特徴量を上回り、アラビア語文の難易度分類において優れた性能を示すか？
• RQ2 従来の読解性式や頻度ベースの特徴量は、アラビア語学習者向けの文の難易度予測にどの程度有効か？
• RQ3 あるコーパスで学習したモデルが、別の評価コーパスにどの程度一般化できるか。また、特徴量ベースモデルとニューラルネットワークベースモデルの間でその差は何か？
• RQ4 言語的特徴量の統合は、文の難易度分類におけるディープラーニングモデルの解釈性を向上させるか？
• RQ5 モデルは、低レベル（A/B）と高レベル（C）の難易度をどの程度正確に区別できるか。その分離にどのような制限があるか？

主な発見

• 微調整されたアラビア語-BERTが最も高い性能を示し、3値CEFR分類でF1スコア0.80を達成。XLM-R（F1 0.75）や他のモデルを上回った。
• 二値難易度分類器は、文ペアの意味的類似度を用いてF1スコア0.94を達成し、簡単な文と複雑な文を明確に区別できることを示した。
• 回帰タスクではスピアマン順位相関係数0.71を達成し、モデルが中程度の精度で連続的な難易度スコアを予測できることを示した。
• POS、頻度リスト、構文構造といった従来の言語的特徴量は、モデルの解釈性向上に寄与したが、深層学習の埋め込み表現単体に比べて効果は低かった。
• 転移学習の性能は、特徴量ベースモデルの方がアラビア語-BERTベースモデルよりも高かった。これは、BERTモデルがよりタスク特化された表現を学習している可能性を示唆した。
• 教育的応用の可能性は高く、特に大学レベルのアラビア語カリキュラムにおいてCレベルの文を除外する目的で、テキスト選定やカリキュラムのギャップ分析を支援できる。