[논문 리뷰] Assessing the Readability of Policy Documents on the Digital Single Market of the European Union

Jukka Ruohonen|arXiv (Cornell University)|2021. 02. 23.

Text Readability and Simplification참고 문헌 38인용 수 7

한 줄 요약

이 연구는 5개의 고전적 독해 지수를 사용하여 유럽연합 디지털 단일시장(DSM) 정책 및 입법 문서 201건의 독해 가능성 수준을 평가한다. 결과적으로 이러한 문서들은 일반적으로 박사학위 수준의 이해 수준(중위수 학년 수준 ~30)에 해당하며, 시간이 지남에 따라 약간의 독해 가능성 향상이 있었지만, 여전히 복잡성과 표준 독해 지수의 한계가 지속됨을 보여준다.

ABSTRACT

Today, literature skills are necessary. Engineering and other technical professions are not an exception from this requirement. Traditionally, technical reading and writing have been framed with a limited scope, containing documentation, specifications, standards, and related text types. Nowadays, however, the scope covers also other text types, including legal, policy, and related documents. Given this motivation, this paper evaluates the readability of 201 legislations and related policy documents in the European Union (EU). The digital single market (DSM) provides the context. Five classical readability indices provide the methods; these are quantitative measures of a text's readability. The empirical results indicate that (i) generally a Ph.D. level education is required to comprehend the DSM laws and policy documents. Although (ii) the results vary across the five indices used, (iii) readability has slightly improved over time.

연구 동기 및 목표

• 기술적 전문가들이 법적 문서를 이해할 필요성이 증가함에 따라, EU 디지털 단일시장(DSM) 정책 및 입법 문서의 독해 가능성 평가.
• 점점 증가하는 규제 복잡성에도 불구하고, DSM 관련 문서의 독해 가능성 향상 여부 평가.
• 법률 및 정책 텍스트에 적용했을 때 5개의 고전적 독해 지수의 타당성과 일관성 검토.
• 일반 시민 및 기술 전문가의 독해 수준과 법적 문서의 복잡성 간 격차 드러내기.
• 법률 텍스트 단순화 및 법학 및 기술 분야 전용 독해 지수 도구 개발을 위한 향후 노력에 기여하기.

제안 방법

• EU 공식 포털에서 지침, 규정, COM, SWD, 권고, 결의안, JOIN 문서 등을 포함한 201건의 DSM 관련 문서 수집.
• 다섯 가지 고전적 독해 지수(Flesch-Kincaid, SMOG, ARI, Coleman-Liau, Linsear Write) 적용하여 각각 텍스트 이해 수준에 해당하는 학년 수준 점수 계산.
• 세 가지 가장 일관성 있는 지수(Flesch-Kincaid, SMOG, ARI)의 산술 평균을 사용해 내부 일관성(크ون바흐 알파 = 0.98)이 높은 복합 독해 지수 생성.
• 피어슨 상관계수를 통한 지수 간 일치도 평가 및 빈도 및 학년 수준 그래프를 활용한 시간 경과에 따른 추세 시각화를 위한 통계 분석 수행.
• 비공식적, 기록용 또는 비입법 문서 제외하여 유 binding 또는 공식적인 정책 문서에 집중.
• 실제 기준(예: 신문 독해 수준 ~12, 심리학 초록 ~17)과 지수 출력 비교를 통한 구성 타당성 평가.

실험 결과

연구 질문

• RQ1 RQ1: 고전적 독해 지수로 측정했을 때, EU의 DSM 전용 법률 및 정책 문서의 독해 가능성은 어떠한가?
• RQ2 RQ2: 법적 텍스트에 적용했을 때, 다섯 가지 독해 지수 간 통계적으로 유의미한 차이가 있는가?
• RQ3 RQ3: 1990년대에서 2020년까지 시간이 지남에 따라 DSM 관련 입법의 독해 가능성은 향상되었는가?
• RQ4 RQ4: 독해 지수는 기술적 및 비기술적 대상자의 실제 이해 수준을 어느 정도 반영하는가?
• RQ5 RQ5: 독해 결과의 함의는 법적 리터러시, 공학 교육 및 정책 투명성에 어떻게 영향을 미치는가?

주요 결과

• 모든 201건의 문서에 대한 중위수 독해 지수는 약 학년 30 수준이며, 이는 평균 DSM 문서를 이해하기 위해 박사학위 수준의 교육이 필요함을 시사한다.
• Flesch-Kincaid, SMOG, ARI 지수는 높은 내적 일관성(피어슨 상관계수 >0.92)을 보이며, 복합 독해 지수로의 사용에 타당성을 제공한다.
• Linsear Write 지수는 중위수 학년 수준 72를 기록했으며, 이는 비현실적이며 법적 텍스트에 대한 타당성이 낮음을 시사한다. 이는 다음어어휘 수의 과도한 의존 때문일 가능성이 높다.
• Coleman-Liau 지수는 이례적으로 낮은 표준편차(1.34)를 보이며, 이는 이 지수의 민감도 및 신뢰성에 대한 우려를 제기한다.
• 1990년대 이후 DSM 문서 수가 지속적으로 증가했음에도 불구하고, 독해 가능성은 약간 향상되었으며, 복합 지수는 학년 30 수준에서 유사하게 유지되었다.
• 본 연구는 EU 법적 문서, 특히 DSM 분야에서 여전히 일반 대중과 심지어 많은 전문가들에게도 접근하기 어려운 고도로 복잡한 상태임을 확인한다.