[論文レビュー] Assessing the Readability of Policy Documents on the Digital Single Market of the European Union

Jukka Ruohonen|arXiv (Cornell University)|Feb 23, 2021

Text Readability and Simplification参考文献 38被引用数 7

ひとこと要約

本研究では、5つの古典的読みやすさ指標を用いて、201件の欧州連合デジタルシングルマーケット（DSM）政策・立法文書の読みやすさを評価した。結果として、これらの文書は一般的に博士号水準の理解力が求められる（中央値の学年レベル～30）、時間経過に伴いわずかに読みやすさが向上しているものの、依然として複雑さと標準的読みやすさ指標の限界が顕著であることが判明した。

ABSTRACT

Today, literature skills are necessary. Engineering and other technical professions are not an exception from this requirement. Traditionally, technical reading and writing have been framed with a limited scope, containing documentation, specifications, standards, and related text types. Nowadays, however, the scope covers also other text types, including legal, policy, and related documents. Given this motivation, this paper evaluates the readability of 201 legislations and related policy documents in the European Union (EU). The digital single market (DSM) provides the context. Five classical readability indices provide the methods; these are quantitative measures of a text's readability. The empirical results indicate that (i) generally a Ph.D. level education is required to comprehend the DSM laws and policy documents. Although (ii) the results vary across the five indices used, (iii) readability has slightly improved over time.

研究の動機と目的

• 技術的専門家が法的文書を理解する必要が高まる中、EUデジタルシングルマーケット（DSM）政策・立法文書の読みやすさを評価すること。
• 規制の複雑化が進む中で、DSM関連文書の読みやすさが時間経過で向上しているかどうかを評価すること。
• 法的・政策的文書に適用した際の5つの古典的読みやすさ指標の妥当性と一貫性を検証すること。
• 一般市民および技術的専門家のリテラシー水準と、法的文書の複雑さとのギャップを浮き彫りにすること。
• 法的文書の簡素化および法と技術分野におけるドメイン特化型読みやすさツールの開発に向けた今後の取り組みを支援すること。

提案手法

• EU公式ポータルから、指令、規則、COM、SWD、勧告、意思決定、JOIN文書を含む201件のDSM関連文書を収集した。
• 5つの古典的読みやすさ指標（Flesch-Kincaid、SMOG、ARI、Coleman-Liau、Linsear Write）を適用し、それぞれがテキストの理解に必要な学年レベルを算出。
• 内部的一致性が極めて高い（Cronbach’s α = 0.98）ことから、Flesch-Kincaid、SMOG、ARIの3つの指標の算術平均を用いて、複合読みやすさスコアを構築した。
• ピアソン積率相関係数を用いて指標間の一致度を評価し、頻度および学年レベルのプロットを用いて時間的傾向を可視化した。
• 公式な法的文書ではない、非公式またはアーカイブ文書を除外し、拘束力があるか、公式な政策文書に焦点を絞った。
• 実世界のベンチマーク（例：新聞の読みやすさは約12、心理学の要約は約17）と比較することで、構成的妥当性を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 古典的読みやすさ指標を用いた場合、EUのDSM関連法的・政策的文書の読みやすさはどの程度か？
• RQ2 RQ2: 法的文書に適用した際、5つの読みやすさ指標間に統計的に有意な差があるか？
• RQ3 RQ3: 1990年代から2020年までの間に、DSM関連立法の読みやすさは向上したか？
• RQ4 RQ4: 読みやすさ指標は、技術的および非技術的読者層の実際の理解力の閾値をどの程度反映しているか？
• RQ5 RQ5: 読みやすさの分析結果は、法的リテラシー、工学教育、政策の透明性にどのような意味を持つのか？

主な発見

• 201件すべての文書における中央値の読みやすさスコアは約学年30である。これは、平均的なDSM文書を理解するには博士号水準の教育を要するということを示している。
• Flesch-Kincaid、SMOG、ARIの指標は、内部的一致性が高く（ピアソン相関係数 >0.92）、複合読みやすさ指標としての使用が妥当であることを裏付けている。
• Linsear Write指標は中央値で学年72を示し、これは現実的ではなく、法的文書への適用において妥当性が低い可能性を示唆している。これは多音節語の頻度に過剰に依存していることが原因と考えられる。
• Coleman-Liau指標は標準偏差が著しく低く（1.34）なっており、本研究の文脈において感度や信頼性に懸念を呈している。
• 1990年代以降、DSM文書の数は安定的に増加しているが、読みやすさはわずかに向上しており、複合スコアは学年30の周辺を推移している。
• 本研究は、EUの法的文書、とりわけDSM分野の文書が、一般市民および多くの専門家でさえも、高度な教育を受けていなければ理解できないほど依然として極めて複雑でアクセス困難であることを確認した。