[논문 리뷰] Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature

Joseph Marvin Imperial, Ethel Ong|arXiv (Cornell University)|2021. 01. 22.

Text Readability and Simplification참고 문헌 16인용 수 9

한 줄 요약

이 논문은 문장 길이와 단어 수와 같은 전통적 특징과 함께 유형-타입 비율, 어휘 밀도, 외래어 수와 같은 어휘 특징을 기계학습 모델에 통합하여 필리핀 어린이 도서의 독해 가능성 분류를 향상시키는 것을 제안한다. 이러한 특징들을 조합함으로써 저자들은 모델 정확도를 약 5% 향상시켰다(42%에서 47.2%로), 이는 필리핀어 텍스트에서 어휘 복잡도가 독해 가능성 예측에 크게 기여한다는 것을 보여준다.

ABSTRACT

Proper identification of grade levels of children's reading materials is an important step towards effective learning. Recent studies in readability assessment for the English domain applied modern approaches in natural language processing (NLP) such as machine learning (ML) techniques to automate the process. There is also a need to extract the correct linguistic features when modeling readability formulas. In the context of the Filipino language, limited work has been done [1, 2], especially in considering the language's lexical complexity as main features. In this paper, we explore the use of lexical features towards improving the development of readability identification of children's books written in Filipino. Results show that combining lexical features (LEX) consisting of type-token ratio, lexical density, lexical variation, foreign word count with traditional features (TRAD) used by previous works such as sentence length, average syllable length, polysyllabic words, word, sentence, and phrase counts increased the performance of readability models by almost a 5% margin (from 42% to 47.2%). Further analysis and ranking of the most important features were shown to identify which features contribute the most in terms of reading complexity.

연구 동기 및 목표

• 필리핀 독해 가능성 평가에서 어휘 복잡도에 관한 연구 부족을 해결하기 위해.
• NLP 기법을 활용하여 필리핀 어린이 문학의 자동 독해 가능성 식별을 향상시키기 위해.
• 기계학습 기반 독해 가능성 분류에서 어휘 특징의 영향을 평가하기 위해.
• 필리핀 텍스트의 독해 수준 복잡도를 결정하는 데 가장 영향력 있는 특징을 특정하기 위해.

제안 방법

• 저자들은 필리핀 어린이 텍스트에서 유형-타입 비율, 어휘 밀도, 어휘 다양성, 외래어 수와 같은 어휘 특징을 추출한다.
• 문장 길이, 평균 syllable 길이, 단어/구문 수와 같은 전통적 독해 가능성 특징도 수집된다.
• 학년 수준 독해 가능성 예측을 위해 어휘(LEX)와 전통적(TRAD) 특징의 조합을 사용하여 기계학습 모델을 훈련시킨다.
• 정확도 메트릭을 사용하여 모델 성능을 평가하며, 특징 중요도는 모델 해석 가능성 분 析를 통해 순위를 매긴다.
• 데이터셋은 학년 수준 레이블이 주석 처리된 필리핀 어린이 도서로 구성되어 있으며, 모델의 훈련과 테스트에 사용된다.
• 전통적 특징만을 사용하는 모델와 어휘 및 전통적 특징을 모두 포함하는 모델 간의 비교 실험을 실시한다.

실험 결과

연구 질문

• RQ1 어휘 특징은 필리핀 어린이 문학의 독해 가능성 분류 정확도 향상에 어떻게 기여하는가?
• RQ2 어느 특정 어휘 특징이 필리핀 텍스트의 독해 수준 복잡도를 가장 잘 예측하는가?
• RQ3 어휘 특징과 전통적 특징을 결합한 모델이 전통적 특징만을 사용하는 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 독해 가능성 예측에서 어휘 특징과 전통적 특징 간의 특징 중요도 순위는 어떻게 다를까?

주요 결과

• 어휘 특징과 전통적 특징을 통합함으로써 모델 정확도가 42%에서 47.2%로 상승하여 약 5% 향상되었다.
• 유형-타입 비율과 어휘 밀도는 독해 복잡도를 예측하는 데 있어 가장 영향력 있는 어휘 특징으로 나타났다.
• 외래어 수는 뚜렷한 기여를 보였으며, 이는 빌린어 사용이 텍스트 난이도에 미치는 영향을 반영한다.
• 어휘 다양성과 어휘 밀도는 특징 중요도 분 析에서 일관되게 높은 순위를 차지했다.
• 어휘(LEX)와 전통적(TRAD) 특징을 모두 사용하는 통합 모델이 전통적 특징만을 사용하는 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 결과적으로 어휘 복잡도가 필리핀 어린이 텍스트의 독해 가능성 평가에 핵심적인 요소임을 확인했다.