[논문 리뷰] Development and Evaluation of a Personalized Computer-aided Question Generation for English Learners to Improve Proficiency and Correct Mistakes

Yi-Ting Huang, Meng Chang Chen외 1명|arXiv (Cornell University)|2018. 08. 29.

Educational Technology and Assessment참고 문헌 31인용 수 5

한 줄 요약

이 논문은 영어 학습자를 위한 개인화된 컴퓨터 지원 질문 생성 시스템을 제시한다. 이 시스템은 개인의 숙련도 수준과 오류 패턴에 따라 질문의 난이도와 유형(어휘, 문법, 독해 이해)을 조절한다. 결과적으로, 표준 자동 질문 생성 방식을 사용하는 학생들과 비교해 개인화된 시스템을 사용한 학생들은 오류를 더 자주 수정하고 더 어려운 질문에 더 자주 정답을 맞추는 것으로 나타났다.

ABSTRACT

In the last several years, the field of computer assisted language learning has increasingly focused on computer aided question generation. However, this approach often provides test takers with an exhaustive amount of questions that are not designed for any specific testing purpose. In this work, we present a personalized computer aided question generation that generates multiple choice questions at various difficulty levels and types, including vocabulary, grammar and reading comprehension. In order to improve the weaknesses of test takers, it selects questions depending on an estimated proficiency level and unclear concepts behind incorrect responses. This results show that the students with the personalized automatic quiz generation corrected their mistakes more frequently than ones only with computer aided question generation. Moreover, students demonstrated the most progress between the pretest and post test and correctly answered more difficult questions. Finally, we investigated the personalizing strategy and found that a student could make a significant progress if the proposed system offered the vocabulary questions at the same level of his or her proficiency level, and if the grammar and reading comprehension questions were at a level lower than his or her proficiency level.

연구 동기 및 목표

• 컴퓨터 지원 어학 학습에서 일반적이고 표준화된 질문 생성 방식의 한계를 해결하기 위해.
• 학습자의 숙련도 수준과 오개념에 맞춰 질문을 맞춤형으로 제공함으로써 학습 성과를 향상시키기 위해.
• 개인화된 질문 생성이 오류 수정 능력 향상과 도전적인 문제에 대한 성능 향상에 기여하는지 조사하기 위해.
• 학습자의 오류와 숙련도 수준에 기반한 적응형 질문 선택 전략의 효과를 평가하기 위해.
• 학습 성과 향상을 극대화하기 위해 다양한 질문 유형에 최적의 난이도 수준을 특정하기 위해.

제안 방법

• 시스템은 어휘, 문법, 독해 이해 유형의 다중 선택 문제를 생성한다.
• 진단용 사전 테스트를 통해 학습자의 숙련도 수준을 추정하고, 잘못된 응답을 분석하여 개념적 오해를 탐지한다.
• 학습자의 추정된 숙련도 수준과 오류 패턴에 기반해 질문을 선택하며, 어휘 문제는 동일한 수준, 문법 및 독해 문제는 약간 낮은 수준으로 설정한다.
• 학습자의 현재 능력에 맞게 적응형 난이도 스케일링을 적용하여 너무 쉬운 질문이나 너무 어려운 질문을 방지한다.
• 각 학습자에게 개인화된 퀴즈를 생성하여 취약 분야에 집중하면서도 적절한 도전으로 참여를 유지한다.
• 사전 테스트-사후 테스트 설계를 통해 개인화된 vs. 비개인화된 질문 생성 방식을 평가하였다.

실험 결과

연구 질문

• RQ1 개인화된 질문 생성은 표준 컴퓨터 지원 질문 생성 대비 오류 수정 능력 향상에 더 큰 기여를 하는가?
• RQ2 질문의 난이도 수준이 어휘, 문법, 독해 이해 분야에서 학습 성과에 어떤 영향을 미치는가?
• RQ3 오류 분석을 통한 오개념 타겟팅이 장기적 기억 유지와 성과 향상에 기여하는가?
• RQ4 학습 성과 향상을 극대화하기 위해 다양한 질문 유형에 최적의 난이도 수준은 무엇인가?
• RQ5 개인화된 질문 생성은 학습자가 사후 테스트에서 더 어려운 질문에 더 자주 정답을 맞출 수 있도록 도와주는가?

주요 결과

• 개인화된 시스템을 사용한 학생들은 표준 컴퓨터 지원 질문 생성을 사용한 학생들과 비교해 오류를 훨씬 더 자주 수정했다.
• 사전 테스트와 사후 테스트 간 학습 성과 향상이 가장 두드러진 것은 개인화된 시스템을 사용한 경우였다.
• 비개인화 기반 대비 개인화된 시스템을 통해 학생들은 사후 테스트에서 더 어려운 질문에 더 자주 정답을 맞추는 데 성공했다.
• 학습자의 현재 숙련도 수준과 동일한 어휘 문제에서 가장 뚜렷한 성과 향상이 관찰되었다.
• 학습자의 숙련도 수준보다 약간 낮은 수준의 문법 및 독해 이해 문제에서 가장 효과적인 향상이 이루어졌다.
• 오류 패턴과 숙련도 추정에 기반한 시스템의 개인화 전략이 학습 성과 향상에 뚜렷한 기여를 하였다.