[논문 리뷰] MultiAzterTest: a Multilingual Analyzer on Multiple Levels of Language for Readability Assessment

Kepa Bengoetxea, Itziar González-Dios|arXiv (Cornell University)|2021. 09. 10.

Text Readability and Simplification참고 문헌 45인용 수 7

한 줄 요약

MultiAzterTest는 영어, 스페인어, 바스크어에서 125~163개의 어휘적 및 스타일적 특징을 분석하여 독해도를 평가하는 오픈소스 다국어 NLP 도구입니다. SMO 분류기로 영어의 3단계 분류에서 90.09%의 정확도, 바스크어의 2단계 분류에서 95.50%의 정확도를 기록하며 Coh-Metrix와 ErreXail과 같은 기존 도구를 능가하며, 공유 특징을 통한 강력한 다국어 전이 능력을 보여줍니다.

ABSTRACT

Readability assessment is the task of determining how difficult or easy a text is or which level/grade it has. Traditionally, language dependent readability formula have been used, but these formulae take few text characteristics into account. However, Natural Language Processing (NLP) tools that assess the complexity of texts are able to measure more different features and can be adapted to different languages. In this paper, we present the MultiAzterTest tool: (i) an open source NLP tool which analyzes texts on over 125 measures of cohesion,language, and readability for English, Spanish and Basque, but whose architecture is designed to easily adapt other languages; (ii) readability assessment classifiers that improve the performance of Coh-Metrix in English, Coh-Metrix-Esp in Spanish and ErreXail in Basque; iii) a web tool. MultiAzterTest obtains 90.09 % in accuracy when classifying into three reading levels (elementary, intermediate, and advanced) in English and 95.50 % in Basque and 90 % in Spanish when classifying into two reading levels (simple and complex) using a SMO classifier. Using cross-lingual features, MultiAzterTest also obtains competitive results above all in a complex vs simple distinction.

연구 동기 및 목표

• 기존의 언어별 독해도 공식의 한계를 극복하기 위해 고도화된 NLP 기법을 활용해 텍스트 복잡도 분석을 보다 종합적으로 수행합니다.
• 영어, 스페인어, 바스크어와 같은 어휘 유형이 뚜렷한 언어들 간의 어휘적 및 논의적 특징을 분석할 수 있는 다국어 오픈소스 도구를 개발합니다.
• 유니버설 언어 자원 기반의 통합 프레임워크를 활용해 영어, 스페인어, 바스크어의 단일 언어 환경에서 최신 기술 수준의 독해도 분류기를 향상시킵니다.
• 특히 자원이 부족한 환경에서의 가능성을 탐색하고, 언어 간 공통 특징을 활용한 다국어 독해도 평가의 실현 가능성과 성능을 탐구합니다.
• 재현 가능성을 높이고 텍스트 스타일로트릭스 및 독해도 연구를 지원하기 위해 공개 웹 서비스와 오픈소스 코드베이스를 제공합니다.

제안 방법

• 다국어 환경에서 11종류의 어휘적 특징—기술파악, 문법적 복잡도, 어휘 빈도, 어휘 지식, 어휘 정보, 어휘 다양성, 논의 연결어, 참조적 응집성, 의미 정보, 의미 겹침, 독해도—를 추출하는 모듈식 NLP 파이프라인을 설계합니다.
• 유니버설 언어 자원인 Universal Dependencies를 문법 분석에, 워드넷을 의미 분석에, wordfreq를 어휘 빈도 분석에, 워드 임베딩을 의미 유사도 및 겹침 분석에 활용합니다.
• 다국어 파이프라인에서 추출한 특징을 기반으로 텍스트 독해도 수준을 예측하기 위해 SMO(순차 최소 최적화) 분류기를 구현합니다.
• 영어, 스페인어, 바스크어의 주석 기반 코퍼스를 활용해 단일 언어 및 다국어 설정에서 분류기의 학습 및 평가를 수행합니다.
• 특징 선택 및 교차 검증을 적용하여 가장 예측력 있는 특징를 식별하고 언어 간 이식 가능성 평가를 수행합니다.
• 교육 및 연구 목적을 위해 도구의 분석 및 분류 기능을 공개할 수 있는 웹 애플리케이션을 구축합니다.

실험 결과

연구 질문

• RQ1 유니버설 NLP 자원을 활용해 어휘적 특징을 다양한 언어에 쉽게 적용할 수 있는가?
• RQ2 사전 처리 도구와 언어 자원의 품질이 독해도 분류 성능에 미치는 영향은 무엇인가?
• RQ3 독해도 예측에 가장 유용한 특징는 무엇이며, 이러한 특징들은 언어 간 공통으로 사용되는가?
• RQ4 특징 그룹은 문법적 형태가 풍부한 언어와 풍부하지 않은 언어 모두에서 일관된 정확도를 유지하는가?
• RQ5 공통의 다국어 특징 세트를 사용해 경쟁 가능한 독해도 분류 성능를 달성할 수 있으며, 이 방법의 효과성은 어떠한가?

주요 결과

• MultiAzterTest는 SMO 분류기를 사용해 영어 텍스트의 3단계 독해도 수준(초급, 중급, 고급) 분류에서 90.09%의 정확도를 기록합니다.
• 바스크어에서는 2단계 분류(간단 vs. 복잡)에서 95.50%의 정확도를 달성하며, 최신 기술 수준의 ErreXail 도구를 능가합니다.
• 스페인어에서는 2단계 독해도 분류에서 90%의 정확도를 기록하며, Coh-Metrix-Esp의 성능을 초월합니다.
• 기술파악 및 문법적 복잡도 특징 그룹이 세 언어 모두에서 가장 예측력이 높으며, 특히 바스크어에서는 어휘 정보 특징의 영향력이 두드러집니다.
• 의미 특징 및 의미 겹침 특징는 예측 정확도가 가장 낮아 현재 코퍼스에서는 독해도 예측에 한계가 있음을 시사합니다.
• 다국어 특징 세트는 이진 분류에서 경쟁 가능한 성능를 보이며, 단일 언어 데이터가 부족한 저자원 언어 환경에서의 응용 가능성을 시사합니다.