[论文解读] Assessing the Readability of Policy Documents on the Digital Single Market of the European Union

Jukka Ruohonen|arXiv (Cornell University)|Feb 23, 2021

Text Readability and Simplification参考文献 38被引用 7

一句话总结

本研究使用五种经典可读性指数评估了201份欧洲联盟数字单一市场（DSM）政策与立法文件的可读性。结果表明，这些文件的整体可读性水平相当于哲学博士（Ph.D.）级理解阈值（中位数年级水平约30），尽管存在持续的复杂性及标准可读性指标的局限性，但可读性随时间略有改善。

ABSTRACT

Today, literature skills are necessary. Engineering and other technical professions are not an exception from this requirement. Traditionally, technical reading and writing have been framed with a limited scope, containing documentation, specifications, standards, and related text types. Nowadays, however, the scope covers also other text types, including legal, policy, and related documents. Given this motivation, this paper evaluates the readability of 201 legislations and related policy documents in the European Union (EU). The digital single market (DSM) provides the context. Five classical readability indices provide the methods; these are quantitative measures of a text's readability. The empirical results indicate that (i) generally a Ph.D. level education is required to comprehend the DSM laws and policy documents. Although (ii) the results vary across the five indices used, (iii) readability has slightly improved over time.

研究动机与目标

• 评估欧盟数字单一市场（DSM）政策与立法文件的可读性，鉴于技术专业人员理解法律文本的需求日益增加。
• 评估DSM相关文件的可读性是否随时间有所改善，特别是在监管复杂性日益增加的背景下。
• 检验五种经典可读性指数在应用于法律与政策文本时的有效性与一致性。
• 揭示法律文件复杂性与普通公民及技术专业人员识字水平之间的差距。
• 为未来法律文本简化工作以及法律与技术领域专用可读性工具的开发提供参考。

提出的方法

• 从欧盟官方门户网站收集了201份DSM相关文件，包括指令、条例、COM文件、SWD文件、建议、决定和JOIN文件。
• 应用五种经典可读性指数：Flesch-Kincaid、SMOG、ARI、Coleman-Liau和Linsear Write，每种指数均计算出一个反映文本理解难度的年级水平得分。
• 采用三个最一致的指数（Flesch-Kincaid、SMOG、ARI）的算术平均值，构建复合可读性得分，其内部一致性较高（Cronbach’s α = 0.98）。
• 进行统计分析，包括皮尔逊积矩相关系数，以评估各指数间的一致性，并通过频率图与年级水平图可视化随时间的趋势。
• 排除非正式、档案性或非立法性文件，以确保研究聚焦于具有约束力或权威性的政策文本。
• 通过与现实世界基准（如报纸可读性约12级，心理学摘要约17级）对比，评估构念效度。

实验结果

研究问题

• RQ1 RQ1：使用经典可读性指数衡量时，欧盟DSM特定法律与政策文件的可读性如何？
• RQ2 RQ2：在应用于法律文本时，五种可读性指数之间是否存在统计学上显著的差异？
• RQ3 RQ3：DSM相关立法的可读性是否随时间有所改善，特别是从1990年代至2020年期间？
• RQ4 RQ4：可读性指数在多大程度上反映了技术与非技术受众的实际理解阈值？
• RQ5 RQ5：可读性研究结果对法律素养、工程教育与政策透明度有何启示？

主要发现

• 所有201份文件的中位数可读性得分为约30年级，表明平均DSM文件需要哲学博士水平的教育背景才能理解。
• Flesch-Kincaid、SMOG与ARI指数表现出高度内部一致性（皮尔逊相关系数 > 0.92），支持其作为可读性综合度量的可靠性。
• Linsear Write指数的中位数年级为72，该结果不切实际，表明其在法律文本中效度较差，可能因过度依赖多音节词计数所致。
• Coleman-Liau指数表现出异常低的标准差（1.34），引发对其在本研究语境下敏感性与可靠性的担忧。
• 尽管自1990年代以来DSM文件数量稳步增长，但可读性略有改善，复合得分始终维持在约30年级水平。
• 本研究证实，欧盟法律文件，特别是DSM领域文件，依然高度复杂，对普通公众甚至许多专业人士而言均难以理解。