[논문 리뷰] A Readable Read: Automatic Assessment of Language Learning Materials based on Linguistic Complexity

Ildikó Pilán, Sowmya Vajjala외 1명|arXiv (Cornell University)|2016. 03. 29.

Text Readability and Simplification인용 수 7

한 줄 요약

이 논문은 다양한 어휘적 특징을 사용하여 스웨덴어 제2외국어 학습 자료의 언어적 복잡도를 5단계 난이도 척도로 자동 평가하기 위한 지도 학습 모델을 제안한다. 모델은 문서 수준에서 81.3%의 정확도와 문장 수준에서 63.4%의 정확도를 기록했으며, 여러 유형의 특징을 조합할 경우 정확도가 7% 향상되어 비영어권 언어 분야에서 이전 연구를 능가한다.

ABSTRACT

Corpora and web texts can become a rich language learning resource if we have a means of assessing whether they are linguistically appropriate for learners at a given proficiency level. In this paper, we aim at addressing this issue by presenting the first approach for predicting linguistic complexity for Swedish second language learning material on a 5-point scale. After showing that the traditional Swedish readability measure, Lasbarhetsindex (LIX), is not suitable for this task, we propose a supervised machine learning model, based on a range of linguistic features, that can reliably classify texts according to their difficulty level. Our model obtained an accuracy of 81.3% and an F-score of 0.8, which is comparable to the state of the art in English and is considerably higher than previously reported results for other languages. We further studied the utility of our features with single sentences instead of full texts since sentences are a common linguistic unit in language learning exercises. We trained a separate model on sentence-level data with five classes, which yielded 63.4% accuracy. Although this is lower than the document level performance, we achieved an adjacent accuracy of 92%. Furthermore, we found that using a combination of different features, compared to using lexical features alone, resulted in 7% improvement in classification accuracy at the sentence level, whereas at the document level, lexical features were more dominant. Our models are intended for use in a freely accessible web-based language learning platform for the automatic generation of exercises.

연구 동기 및 목표

• 스웨덴어 제2외국어 학습 자료의 언어적 복잡도를 신뢰할 수 있는 방법으로 평가하는 데 목적이 있다.
• 언어 학습 환경에 적합하지 않은 기존의 LIX 난이도 측정법의 한계를 해결하는 데 목적이 있다.
• 언어 학습 플랫폼에 적합한 5단계 난이도로 텍스트를 분류할 수 있는 모델을 개발하는 데 목적이 있다.
• 문서 수준과 문장 수준에서 언어적 특징의 성능을 평가하여 복잡도 예측에 기여하는지를 분석하는 데 목적이 있다.
• 자유롭게 이용할 수 있는 웹 기반 플랫폼에 통합되어 언어 학습 연습의 자동 생성을 지원하는 모델을 설계하는 데 목적이 있다.

제안 방법

• 다양한 어휘적, 문법적, 구조적 특징을 포함한 언어적 복잡도 지표를 사용하여 지도 학습 모델을 훈련시켰다.
• 5점 척도로 난이도가 주어진 스웨덴어 제2외국어 텍스트 데이터셋을 사용하여 모델을 훈련하고 평가하였다.
• 특징 공학에는 어휘 빈도, 문장 길이, 절의 복잡도, 어휘 다양성 지표 등을 포함하여 언어적 복잡도를 포괄적으로 측정하였다.
• 모델의 확장성을 평가하기 위해 문서 수준(전체 텍스트)과 문장 수준(개별 문장)에서 평가를 수행하였다.
• 단지 어휘적 특징만 사용하는 모델와 여러 특징 유형을 조합한 모델를 비교하여 특징의 유용성을 평가하였다.
• 최종 모델는 웹 기반 언어 학습 플랫폼에 통합되어 자동 연습 생성을 가능하게 하도록 설계되었다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 스웨덴어 제2외국어 텍스트의 언어적 복잡도를 5단계 난이도 척도로 신뢰성 있게 예측할 수 있는가?
• RQ2 전체 텍스트와 개별 문장을 분류할 때 모델의 성능은 어떻게 다를까?
• RQ3 다양한 유형의 언어적 특징(예: 어휘적 특징 대비 문법적 특징)이 분류 정확도에 얼마나 기여하는가?
• RQ4 다양한 특징 유형을 조합하는 것이 어휘적 특징만 사용하는 것보다 복잡도 예측에 더 효과적인가?
• RQ5 제2외국어 학습 자료의 맥락에서 기존의 난이도 측정법인 LIX와 비교해 볼 때 제안된 모델은 어떻게 다른가?

주요 결과

• 제안된 기계학습 모델은 문서 수준에서 스웨덴어 제2외국어 텍스트를 5단계 난이도로 분류하는 데 81.3%의 정확도를 달성하였다.
• 모델의 F-score는 0.8로 높은 성능을 보였으며, 영어 분야의 최신 기술과 유사하고 다른 언어 분야의 이전 연구를 능가하는 성능을 보였다.
• 문장 수준에서는 63.4%의 정확도를 기록했으며, 인접 문장 예측 정확도는 92%로, 즉각적인 맥락 예측에 강력한 성능을 보였다.
• 여러 특징 유형을 조합하면 문장 수준에서 분류 정확도가 7% 향상되었으며, 문서 수준에서는 어휘적 특징이 가장 큰 영향을 미쳤다.
• 기존의 LIX 난이도 측정법은 제2외국어 학습 자료의 분류에 부적합하다는 것이 밝혀졌으며, 더 세밀한 복잡도 평가가 필요함을 시사한다.