[論文レビュー] Quantifying literature quality using complexity criteria

Gerardo L. Febres, Klaus Jaffé|arXiv (Cornell University)|Jan 28, 2014

Text Readability and Simplification参考文献 13被引用数 6

ひとこと要約

本稿では、英語およびスペイン語のテキストにおいて、エントロピーと記号的多様性を複雑さの指標として用いる計算フレームワークを提案する。ノーベル賞受賞者や著名な著者の作品を分析することで、高いエントロピーと語彙的多様性が、評価された執筆品質と顕著な相関を示すことが示され、言語的複雑さの基準に基づく自動的な文学的価値の評価が可能であることが示唆される。

ABSTRACT

We measured entropy and symbolic diversity for English and Spanish texts including literature Nobel laureates and other famous authors. Entropy, symbol diversity and symbol frequency profiles were compared for these four groups. We also built a scale sensitive to the quality of writing and evaluated its relationship with the Flesch's readability index for English and the Szigriszt's perspicuity index for Spanish. Results suggest a correlation between entropy and word diversity with quality of writing. Text genre also influences the resulting entropy and diversity of the text. Results suggest the plausibility of automated quality assessment of texts.

研究の動機と目的

• 計算的複雑さの指標を用いて文学的価値を定量的に評価する手法を開発すること。
• 例えばノーベル賞受賞者を含む、ジャンルおよび著者階級（著名度）ごとのエントロピーと記号的多様性を比較すること。
• 言語的複雑さと、FleschおよびSzigrisztといった既存の読みやすさインデックスとの関係を評価すること。
• より高い言語的複雑さが、より高いとされる執筆品質と相関することを仮説検証すること。
• 複雑さの基準に基づいて、執筆品質に感受性を示すスケールを確立すること。

提案手法

• 英語およびスペイン語の文学的テキストの大規模コーパスにおいて、エントロピーと記号的多様性を測定した。
• 記号頻度プロファイルを分析して、テキスト間での分布的複雑さを評価した。
• ノーベル賞受賞者、他の著名な著者、および2つのコントロールグループ（ジャンル別）の4つの著者グループ間で結果を比較した。
• エントロピーと多様性の指標に基づいて、品質評価スケールをキャリブレーションした。
• 複雑さに基づくスケールと、英語のFlesch読みやすさインデックスおよびスペイン語のSzigriszt明瞭性インデックスを相関させた。
• 観察された複雑さと評価された品質との間の相関の有意性を統計的分析で評価した。

実験結果

リサーチクエスチョン

• RQ1 文学的テキストにおける高いエントロピーは、より高いとされる執筆品質と相関するか？
• RQ2 記号的多様性は、異なる言語およびジャンルにおいて、文学的価値をどの程度予測できるか？
• RQ3 FleschおよびSzigrisztといった既存の読みやすさインデックスは、エントロピーおよび多様性の指標とどのように関係するか？
• RQ4 複雑さに基づくスケールは、高品質な文学的テキストと他のテキストを信頼性高く区別できるか？
• RQ5 テキストジャンルは、文学的作品におけるエントロピーおよび記号的多様性の値にどのように影響するか？

主な発見

• 特にノーベル賞受賞著者の間で、エントロピーと評価された執筆品質との間に顕著な正の相関が確認された。
• 記号的多様性は文学的価値と強く関連しており、高品質なテキストに豊かな語彙的多様性があることを示している。
• ジャンルがエントロピーおよび多様性に顕著な影響を及ぼしており、物語小説はノンフィクションやジャーナリズム的テキストよりも高い複雑さを示した。
• 提案された複雑さに基づくスケールは、英語ではFlesch読みやすさインデックス、スペイン語ではSzigriszt明瞭性インデックスと強く一致した。
• エントロピーおよび多様性の指標は、高品質な文学的作品と低品質または複雑さが乏しいテキストを効果的に区別できた。
• 結果は、計算言語学を用いた言語的複雑さの基準に基づく、自動的かつ複雑さ駆動型の文学的価値評価の可能性を支持する。