[論文レビュー] Traditional Readability Formulas Compared for English

Bruce W. Lee, Jason Hyung-Jong Lee|arXiv (Cornell University)|Jan 8, 2023

Text Readability and Simplification被引用数 4

ひとこと要約

本論文は、現代の米国教育テキストを想定した、Flesch-Kincaid、Fog、SMOG、Coleman-Liau、Automated Readability Index の伝統的な英語の読みやすさ式を再キャリブレーションしたセットを紹介し、語彙的・意味的および構文的特徴に基づく新しい式 NERF を提案する。Common Core Appendix B データセットを用いて予測精度を向上させ、広範な自然言語処理応用を想定した Python ベースのツールを公開する。

ABSTRACT

Traditional English readability formulas, or equations, were largely developed in the 20th century. Nonetheless, many researchers still rely on them for various NLP applications. This phenomenon is presumably due to the convenience and straightforwardness of readability formulas. In this work, we contribute to the NLP community by 1. introducing New English Readability Formula (NERF), 2. recalibrating the coefficients of old readability formulas (Flesch-Kincaid Grade Level, Fog Index, SMOG Index, Coleman-Liau Index, and Automated Readability Index), 3. evaluating the readability formulas, for use in text simplification studies and medical texts, and 4. developing a Python-based program for the wide application to various NLP projects.

研究の動機と目的

• 機械学習ベースのモデルの進歩にもかかわらず、自然言語処理分野で古くなった読みやすさ式が依然として使用されている問題に対処する。
• 現代の米国学習課程に適合したテキストを用いて、従来の読みやすさ式の係数を再キャリブレーションすることで、その予測精度を向上させる。
• 語彙的・意味的および構文的特徴に基づく、より広範な言語的カバレッジを実現する一般化された新しい読みやすさ式（NERF）を開発する。
• 異なる読解レベルや読者層を反映する多様なデータセットにおいて、6つの読みやすさ式（5つの再キャリブレーション済み式 + NERF）の性能を評価する。
• 自然言語処理パイプラインへの読みやすさ評価の統合を容易にする、高速でオープンソースの Python ツールを提供する。

提案手法

• Common Core Appendix B（CCB）コーパスを主な学習データセットとして用い、5つの従来の読みやすさ式を再キャリブレーションした。
• クロスデータセット相関分析を用いて、語彙的・意味的（例：SubtlexUS 頻度による語のなじみやすさ）および構文的（例：品詞比、フレーズ頻度）分野からの主要な言語的特徴を同定した。
• 複数のデータセットで優れた性能を示した特徴を統合し、汎用性と精度に最適化された NERF を提案した。
• CCB の学年レベルのラベルを正例として、線形回帰モデルを適用し、各式の新しい係数を導出した。
• 5つのベンチマークデータセット（CCB、WeeBit、Cambridge English、韓国英語教育課程、OneStopEnglish）を用いて、式の性能を評価した。
• 自然言語処理応用における効率的かつスケーラブルな読みやすさ評価を可能にする Python ベースのソフトウェアパッケージ（<Anonymous>）を開発した。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、現代の米国教育テキストにおける精度を向上させるために、従来の読みやすさ式を再キャリブレーションできるか？
• RQ2 語彙的・意味的特徴と構文的特徴のうち、どの特徴が多様なテキストタイプにおいて読みやすさ予測の向上に最も寄与するか？
• RQ3 新たに提案された NERF 式の性能は、標準化されたデータセットにおいて既存の従来式と比べてどの程度優れているか？
• RQ4 再キャリブレーションされた式は、異なる読解レベルや教育課程にわたってどれほど一般化できるか？
• RQ5 統合的でオープンソースの Python ツールは、多様な自然言語処理ワークフローへの読みやすさ評価の統合を効果的に支援できるか？

主な発見

• Flesch-Kincaid、Fog、SMOG、Coleman-Liau、Automated Readability Index の再キャリブレーション版は、元の係数と比較して Common Core Appendix B データセット上での予測精度が向上した。
• NERF は、語のなじみやすさ（SubtlexUS 頻度）や構文的比（例：副詞対名詞比）などの特徴に基づいて、複数のデータセットにわたる優れた一般化性能を示した。
• 『at_SbFrL_C』（単語あたりの SubtlexUS FREQlow）という特徴は、CCB の学年レベルと最も高い相関（r = 0.176）を示し、語のなじみやすさの予測力が強いことが示された。
• 構文的特徴として『ra_AvNoT_C』（副詞対名詞品詞比）や『LoCoDPU_S』（局所的整合性距離）は、複数のデータセットで一貫した性能を示した。
• Python ベースのツール <Anonymous> は、最小限の計算コストで効率的かつスケーラブルな読みやすさ評価を可能にし、自然言語処理パイプラインへの統合を支援する。
• NERF は、クロスデータセット評価において、特に低～中程度の教育テキストにおいて、すべての従来式を上回る性能を示した。これは、より広範な言語的カバレッジと高い頑健性を示している。