[論文レビュー] Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature

Joseph Marvin Imperial, Ethel Ong|arXiv (Cornell University)|Jan 22, 2021

Text Readability and Simplification参考文献 16被引用数 9

ひとこと要約

本稿では、タイプ-トークン比、語彙密度、外国語語彙数といった語彙的特徴を機械学習モデルに統合することで、フィリピン語児童書の読みやすさ分類を向上させることを提案する。文長や語数といった従来の特徴と組み合わせることで、著者らはモデルの正確性をほぼ5%向上（42%から47.2%へ）させ、フィリピン語テキストにおける読みやすさ予測において語彙的複雑さが顕著に寄与することを示している。

ABSTRACT

Proper identification of grade levels of children's reading materials is an important step towards effective learning. Recent studies in readability assessment for the English domain applied modern approaches in natural language processing (NLP) such as machine learning (ML) techniques to automate the process. There is also a need to extract the correct linguistic features when modeling readability formulas. In the context of the Filipino language, limited work has been done [1, 2], especially in considering the language's lexical complexity as main features. In this paper, we explore the use of lexical features towards improving the development of readability identification of children's books written in Filipino. Results show that combining lexical features (LEX) consisting of type-token ratio, lexical density, lexical variation, foreign word count with traditional features (TRAD) used by previous works such as sentence length, average syllable length, polysyllabic words, word, sentence, and phrase counts increased the performance of readability models by almost a 5% margin (from 42% to 47.2%). Further analysis and ranking of the most important features were shown to identify which features contribute the most in terms of reading complexity.

研究の動機と目的

• フィリピン語の読みやすさ評価における語彙的複雑さに関する研究の不足に対処すること。
• 自然言語処理技術を用いて、フィリピン語児童文学の自動読みやすさ識別を改善すること。
• 語彙的特徴が機械学習ベースの読みやすさ分類に与える影響を評価すること。
• フィリピン語テキストの読解レベルの複雑さを決定づける最も影響力のある特徴を特定すること。

提案手法

• 著者らは、フィリピン語児童書からタイプ-トークン比、語彙密度、語彙の多様性、外国語語彙数といった語彙的特徴を抽出する。
• 文長、平均音節長、語/句数といった従来の読みやすさ特徴も収集する。
• 機械学習モデルを、語彙的特徴（LEX）と従来特徴（TRAD）を組み合わせて、学年レベルの読みやすさを予測するように訓練する。
• モデルの性能は正確性指標を用いて評価され、特徴の重要度はモデルの解釈可能性分析により順位付けられる。
• データセットは、学年レベルのラベルが付与されたフィリピン語児童書で構成され、モデルの学習とテストに使用される。
• 従来特徴のみを用いたモデルと、語彙的特徴と従来特徴を併用したモデルとの間で比較実験が実施される。

実験結果

リサーチクエスチョン

• RQ1 語彙的特徴は、フィリピン語児童文学における読みやすさ分類の正確性向上にどのように寄与するか？
• RQ2 どの特定の語彙的特徴が、フィリピン語テキストにおける読解レベルの複雑さを最も予測可能か？
• RQ3 語彙的特徴と従来特徴を併用することは、従来特徴のみを用いたモデルをどれほど上回るか？
• RQ4 読みやすさ予測において、語彙的特徴と従来特徴の特徴の重要度順位はどのように異なるか？

主な発見

• 語彙的特徴と従来特徴を併用することで、モデルの正確性が42%から47.2%に上昇し、ほぼ5%の向上が達成された。
• タイプ-トークン比と語彙密度は、読解複雑さを予測する上で、最も影響力のある語彙的特徴として浮き彫りになった。
• 外国語語彙数は顕著な寄与を示し、借用語の使用がテキスト難易度に与える影響を反映していた。
• 語彙の多様性と語彙密度は、特徴の重要度分析において一貫して高い順位を占めた。
• 語彙的特徴と従来特徴を併用した統合モデル（LEX + TRAD）は、従来特徴のみを用いたモデルを顕著に上回った。
• 結果から、語彙的複雑さがフィリピン語児童テキストの読みやすさ評価において重要な要因であることが確認された。