[논문 리뷰] Characterizing the Influence of Features on Reading Difficulty Estimation for Non-native Readers

Yi-Ting Huang, Meng Chang Chen외 1명|arXiv (Cornell University)|2018. 08. 29.

Text Readability and Simplification참고 문헌 26인용 수 3

한 줄 요약

이 연구는 어휘, 문법적 복잡성, 그리고 어휘 습득 연령, WordNet에서 추출한 어휘의 의미, 문장 수준의 문법적 분석 트리 높이와 같은 새로운 심리언어학적 특징을 통합하여 비모국어 영어 학습자를 위한 독해 난이도 추정 모델을 제안한다. 베이지안 정보 기준(BIC)을 사용한 모델 선택을 통해, 저자들은 어휘 수, 어휘 습득 연령, 분석 트리 높이의 조합이 모국어 사용자를 대상으로 한 전통적 모델보다 우수한 성능을 보임을 입증한다.

ABSTRACT

In recent years, the number of people studying English as a second language (ESL) has surpassed the number of native speakers. Recent work have demonstrated the success of providing personalized content based on reading difficulty, such as information retrieval and summarization. However, almost all prior studies of reading difficulty are designed for native speakers, rather than non-native readers. In this study, we investigate various features for ESL readers, by conducting a linear regression to estimate the reading level of English language sources. This estimation is based not only on the complexity of lexical and syntactic features, but also several novel concepts, including the age of word and grammar acquisition from several sources, word sense from WordNet, and the implicit relation between sentences. By employing Bayesian Information Criterion (BIC) to select the optimal model, we find that the combination of the number of words, the age of word acquisition and the height of the parsing tree generate better results than alternative competing models. Thus, our results show that proposed second language reading difficulty estimation outperforms other first language reading difficulty estimations.

연구 동기 및 목표

• 비모국어 영어 독자 전용으로 설계된 독해 난이도 추정 도구의 부족을 보완하기 위해.
• 어휘 습득 연령 및 어휘의 의미와 같은 심리언어학적 특징이 ESL 학습자에게 독해 난이도에 어떻게 영향을 미치는지 조사하기 위해.
• 문법적 복잡성, 특히 분석 트리 높이로 측정된 복잡성이 비모국어 독자에게 독해 난이도에 어떤 영향을 미치는지 평가하기 위해.
• 기존의 모국어 기반 독해 난이도 추정 모델보다 우수한 성능을 보이는 모델을 개발하고 검증하기 위해.
• 비모국어 맥락에서 정확한 독해 수준 예측을 위한 최적의 특징 조합을 특정하기 위해.

제안 방법

• 저자들은 어휘 수, 문법적 분석 트리 높이, 어휘 복잡성 지표와 같은 언어학적 특징의 집합을 수집하고 분석한다.
• 외부 자료에서 유래한 어휘 및 문법 구조의 일반적인 습득 연령과 같은 심리언어학적 자료를 통합한다.
• WordNet에서 추출한 어휘의 의미 정보를 활용하여 어휘의 모호성과 이해 난이도에 미치는 영향을 평가한다.
• 문장 간의 암묵적 의미 관계를 모델링하여 논의 수준의 복잡성을 포착한다.
• 이러한 특징을 기반으로 독해 수준을 예측하기 위한 선형 회귀 모델을 학습시킨다.
• 최적의 특징 조합과 모델 아키텍처를 선택하기 위해 베이지안 정보 기준(BIC)을 사용한다.

실험 결과

연구 질문

• RQ1 비모국어 영어 독자에게 있어 독해 난이도에 가장 크게 영향을 미치는 언어학적 특징은 무엇인가?
• RQ2 어휘 습득 연령 및 어휘의 의미와 같은 심리언어학적 요소가 독해 난이도 추정에 어떻게 기여하는가?
• RQ3 분석 트리 높이로 측정된 문법적 복잡성이 ESL 학습자에게 독해 난이도에 어느 정도의 영향을 미치는가?
• RQ4 새로운 특징을 통합한 모델이 모국어 사용자를 대상으로 한 기존 모델보다 우수한 성능을 보일 수 있는가?
• RQ5 비모국어 독해 맥락에서 독해 수준을 예측하기 위한 최적의 특징 조합은 무엇인가?

주요 결과

• 비모국어 독자에게 독해 난이도를 예측하는 데 있어 어휘 수, 어휘 습득 연령, 분석 트리 높이의 조합가 가장 우수한 성능을 보였다.
• 어휘 습득 연령과 같은 심리언어학적 특징을 포함시킴으로써, 어휘 및 문법적 특징만을 사용한 모델보다 모델 정확도가 크게 향상되었다.
• 기존의 모국어 기반 독해 난이도 추정 모델보다 모델이 뛰어난 성능을 보였으며, 특히 제2언어 학습자가 겪는 과제를 더 잘 포착했다.
• 베이지안 정보 기준(BIC)은 최적의 모델 구성 방식을 확인하였으며, 독해 난이도 모델링에서 특징 선택의 중요성을 입증하였다.
• WordNet에서 추출한 어휘의 의미를 통합함으로써, 비모국어 맥락에서 어휘 난이도에 대한 더 세밀한 이해가 가능했다.
• 결과적으로, 문법적 분석 트리 높이는 특히 문법 처리 능력이 제한된 학습자에게 독해 난이도의 강력한 예측 변수임을 시사한다.