[論文レビュー] Diverse Linguistic Features for Assessing Reading Difficulty of Educational Filipino Texts

Joseph Marvin Imperial, Ethel Ong|arXiv (Cornell University)|Jul 31, 2021

Text Readability and Simplification参考文献 16被引用数 5

ひとこと要約

本稿では、従来のおよび音節パターンに基づく予測子を含む多様な言語的特徴を用いて、教育的フィリピン語テキストの読解難易度を評価する機械学習的手法を提案する。最適な特徴組み合わせを用いたランダムフォレストモデルは66.1％の正解率を達成し、フィリピン語の読解難易度評価において音声的および構文的特徴を統合する有効性を示している。

ABSTRACT

In order to ensure quality and effective learning, fluency, and comprehension, the proper identification of the difficulty levels of reading materials should be observed. In this paper, we describe the development of automatic machine learning-based readability assessment models for educational Filipino texts using the most diverse set of linguistic features for the language. Results show that using a Random Forest model obtained a high performance of 62.7% in terms of accuracy, and 66.1% when using the optimal combination of feature sets consisting of traditional and syllable pattern-based predictors.

研究の動機と目的

• 教育的フィリピン語テキストの自動読解難易度評価システムの開発を目的とする。これにより、学習と理解の効果が向上する。
• フィリピン語の読解難易度に関連する広範な言語的特徴（従来のものと音節パターンに基づくもの）を特定し、統合することを目的とする。
• これらの多様な特徴を用いて、機械学習モデルの性能を評価し、テキスト難易度レベルを予測する能力を検証することを目的とする。
• フィリピン語の読解難易度予測の正解率を最大化する最適な言語的特徴の組み合わせを特定することを目的とする。

提案手法

• 本研究では、読解難易度レベルが付与された教育的フィリピン語テキストのデータセットを用いる。
• 文法的、語彙的、音声的指標（例：文の長さ、語の頻度、音節パターン）を含む包括的な言語的特徴が抽出される。
• 従来の読解難易度特徴（例：平均文長、語の難易度）と、フィリピン語の音韻論的構造から導出された新しい音節パターンに基づく特徴が統合される。
• 特徴集合を用いてランダムフォレスト分類器を訓練し、性能最適化のためのハイパーパrameterチューニングが実施される。
• モデルの性能は、正解率と交差検証を用いて評価され、妥当性が確保される。
• 最適な特徴組み合わせは、アブレーション解析および特徴重要度分析を通じて同定される。

実験結果

リサーチクエスチョン

• RQ1 フィリピン語教育テキストの読解難易度を予測する際に、どの言語的特徴の組み合わせが最も高い正解率を達成するか？
• RQ2 音節パターンに基づく特徴は、従来の読解難易度特徴と比較して、フィリピン語のテキスト難易度予測においてどのように性能を示すか？
• RQ3 多様な言語的予測子を用いた機械学習モデルは、フィリピン語テキストの読解難易度レベルを効果的に分類できるか？
• RQ4 音声的および構文的形態的特徴は、フィリピン語の読解難易度評価において、それぞれどの程度の寄与をしているか？

主な発見

• ランダムフォレストモデルは、従来の言語的特徴のみを用いた場合、62.7％の正解率を達成した。
• 従来の特徴と音節パターンに基づく特徴の最適な組み合わせにより、正解率が66.1％まで向上した。
• 音節パターンに基づく特徴は、モデルの予測性能に有意義な貢献を示し、フィリピン語の読解難易度評価においてその関連性が裏付けられた。
• 特徴重要度分析の結果、文の長さと語の頻度が最も影響力のある予測子であることが明らかになった。
• 音声的特徴の統合により、従来の指標のみに依存する場合よりもモデルの性能が向上した。
• 本研究では、特にフィリピン語の音韻構造を捉える特徴が、読解難易度モデリングにおいて有効であることが示された。