[논문 리뷰] Traditional Readability Formulas Compared for English

Bruce W. Lee, Jason Hyung-Jong Lee|arXiv (Cornell University)|2023. 01. 08.

Text Readability and Simplification인용 수 4

한 줄 요약

이 논문은 현대 미국 교육 텍스트를 고려해 기존 영어 난이도 측정 공식(Flesch-Kincaid, Fog, SMOG, Coleman-Liau, Automated Readability Index)을 재보정한 세트를 소개하고, 어휘-의미적 및 문법적 특징을 기반으로 한 새로운 공식 NERF를 제안한다. Common Core Appendix B 데이터셋을 사용하여 예측 정확도를 향상시켰으며, 널리 활용 가능한 NLP 응용을 위한 파이썬 기반 도구를 공개한다.

ABSTRACT

Traditional English readability formulas, or equations, were largely developed in the 20th century. Nonetheless, many researchers still rely on them for various NLP applications. This phenomenon is presumably due to the convenience and straightforwardness of readability formulas. In this work, we contribute to the NLP community by 1. introducing New English Readability Formula (NERF), 2. recalibrating the coefficients of old readability formulas (Flesch-Kincaid Grade Level, Fog Index, SMOG Index, Coleman-Liau Index, and Automated Readability Index), 3. evaluating the readability formulas, for use in text simplification studies and medical texts, and 4. developing a Python-based program for the wide application to various NLP projects.

연구 동기 및 목표

• 최신 기계학습 기반 모델의 발전에도 불구하고 NLP 분야에서 여전히 오래된 난이도 측정 공식이 사용되는 문제를 해결한다.
• 현대 미국 교육과정에 맞는 텍스트를 기반으로 기존 공식의 계수를 재보정하여 전통적 난이도 측정 공식의 정확도를 향상시킨다.
• 더 넓은 언어적 범위를 고려해 어휘-의미적 및 문법적 특징에 기반한 일반화된 새로운 난이도 측정 공식(NERF)을 개발한다.
• 다양한 읽기 수준과 독자층을 반영한 다양한 데이터셋에서 여섯 개의 난이도 측정 공식(다섯 개의 재보정된 공식 + NERF)의 성능을 평가한다.
• NLP 파이프라인에 쉽게 통합할 수 있도록 빠르고 오픈소스인 파이썬 도구를 제공한다.

제안 방법

• Common Core Appendix B(CCB) 코퍼스를 주 훈련 데이터셋으로 사용해 다섯 가지 전통적 난이도 측정 공식을 재보정한다.
• 교차 데이터셋 상관 분석을 통해 어휘-의미적(예: SubtlexUS 빈도를 통한 단어 익숙함) 및 문법적(예: 품사 비율, 어구 빈도) 분야의 핵심 언어적 특징을 식별한다.
• 다양한 데이터셋에서 최고 성능을 보인 특징들을 조합해 일반화 및 정확도에 최적화된 새로운 공식 NERF를 제안한다.
• CCB의 학년 수준 레이블을 기준 진수로 삼아 선형 회귀 모델을 적용해 각 공식의 새로운 계수를 유도한다.
• 다섯 가지 벤치마크 데이터셋(CCB, WeeBit, Cambridge English, 한국 ELT 교육과정, OneStopEnglish)에서 공식의 성능을 평가한다.
• 효율적이고 확장 가능한 NLP 응용을 위한 난이도 평가를 위한 파이썬 기반 소프트웨어 패키지(<Anonymous>)를 개발한다.

실험 결과

연구 질문

• RQ1 기존의 난이도 측정 공식은 어떻게 현대 미국 교육 텍스트에서 정확도를 향상시키기 위해 재보정될 수 있는가?
• RQ2 어휘-의미적 특징과 문법적 특징 중 어느 것이 다양한 텍스트 유형에서 난이도 예측 정확도 향상에 더 기여하는가?
• RQ3 새로 제안된 NERF 공식은 표준화된 데이터셋에서 기존 전통적 공식과 비교해 어떤 성능을 보이는가?
• RQ4 재보정된 공식은 다양한 독서 수준과 교육 과정에 얼마나 잘 일반화되는가?
• RQ5 통합된 오픈소스 파이썬 도구는 다양한 NLP 워크플로우에 난이도 평가 기능을 효과적으로 통합하는 데 기여하는가?

주요 결과

• Flesch-Kincaid, Fog, SMOG, Coleman-Liau, Automated Readability Index 공식의 재보정된 버전은 원래 계수 대비 Common Core Appendix B 데이터셋에서 더 높은 예측 정확도를 보였다.
• NERF는 단어 익숙함(SubtlexUS 빈도) 및 문법 비율(예: 부사 대 명사 비율) 등의 특징을 기반으로 하여 여러 데이터셋에서 뛰어난 일반화 성능을 보였다.
• 특징 'at_SbFrL_C'(단어당 SubtlexUS FREQlow)는 CCB 학년 수준과 가장 높은 상관관계(r = 0.176)를 보였으며, 단어 익숙함에 대한 강력한 예측 능력을 시사했다.
• 문법적 특징인 'ra_AvNoT_C'(부사 대 명사 품사 비율)와 'LoCoDPU_S'(지역 일관성 거리)는 여러 데이터셋에서 일관된 성능을 보였다.
• 파이썬 기반 도구 <Anonymous>는 최소한의 계산 오버헤드로 효율적이고 확장 가능한 난이도 평가를 가능하게 하며, NLP 파이프라인에의 통합을 지원한다.
• NERF는 교차 데이터셋 평가에서 모든 전통적 공식을 능가했으며, 특히 저수준 및 중수준 교육 텍스트에서 뛰어난 성능을 보여, 더 넓은 언어적 커버리지와 강건성을 시사했다.