[논문 리뷰] R2DE: a NLP approach to estimating IRT parameters of newly generated questions

Luca Benedetto, Andrea Cappelli외 2명|arXiv (Cornell University)|2020. 01. 21.

Educational Technology and Assessment참고 문헌 28인용 수 11

한 줄 요약

R2DE는 새로운 다중 선택 문제의 항목 반응 이론(Impact Response Theory, IRT) 파라미터인 난이도와 구분도를 질문의 텍스트와 선택지만을 사용하여 추정하는 새로운 NLP 기반 모델이다. 대규모 온라인 학습 데이터셋에서 평가한 결과, 난이도에 대해 평균 절대 오차(MAE)가 0.639, 구분도에 대해 0.329를 기록하여 정확한 성능 예측을 가능하게 하고, 비용이 많이 드는 사전 테스트나 주관적인 전문가 평가에 대한 의존도를 줄였다.

ABSTRACT

The main objective of exams consists in performing an assessment of students' expertise on a specific subject. Such expertise, also referred to as skill or knowledge level, can then be leveraged in different ways (e.g., to assign a grade to the students, to understand whether a student might need some support, etc.). Similarly, the questions appearing in the exams have to be assessed in some way before being used to evaluate students. Standard approaches to questions' assessment are either subjective (e.g., assessment by human experts) or introduce a long delay in the process of question generation (e.g., pretesting with real students). In this work we introduce R2DE (which is a Regressor for Difficulty and Discrimination Estimation), a model capable of assessing newly generated multiple-choice questions by looking at the text of the question and the text of the possible choices. In particular, it can estimate the difficulty and the discrimination of each question, as they are defined in Item Response Theory. We also present the results of extensive experiments we carried out on a real world large scale dataset coming from an e-learning platform, showing that our model can be used to perform an initial assessment of newly created questions and ease some of the problems that arise in question generation.

연구 동기 및 목표

• 사전 테스트 없이 새로 생성된 질문의 IRT 파라미터를 추정하여 교육 평가의 콜드 스타트 문제를 해결한다.
• 콘텐츠 제작자에게 질문 품질에 대한 즉각적인 피드백을 제공하기 위해 추정된 난이도와 구분도를 제공한다.
• 기존의 사전 테스트나 전문가 기반 校정에 따른 개발 비용과 지연을 줄이기 위해 노력한다.
• NLP를 활용해 고품질 교육 평가 자료를 더 효율적이고 확장 가능하게 생성할 수 있도록 한다.
• 신규 항목에 대한 신뢰할 수 있는 잠재 특성 추정을 제공함으로써 지식 추적을 지원하고 학생의 성능 예측을 향상시킨다.

제안 방법

• R2DE는 질문 텍스트와 선택지를 기반으로 IRT 난이도와 구분도 파라미터를 예측하기 위해 감독 학습 회귀 모델을 사용한다.
• 모델은 질문과 오답 선택지의 텍스트적 특징을 인코딩하기 위해 NLP 기법을 활용하여 항목 특성과 관련된 의미적 및 문법적 패턴을 포착한다.
• 실제 온라인 학습 플랫폼의 대규모 실세계 데이터셋을 활용하여 텍스트 특징과 IRT 파라미터 간의 관계를 학습한다.
• 난이도 및 구분도 추정에 대해 평균 절대 오차(MAE) 손실을 사용하여 모델을 훈련한다.
• 성능 평가를 위해 지식 추적 작업을 후행적으로 수행하여, IRT로 추정된 잠재 특성과 다수의 기준 대비 예측 정확도를 비교한다.
• 이러한 접근은 질문 품질의 조기 평가를 가능하게 하여, 배포 이전에 항목을 개선할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 질문의 텍스트만을 사용하여 NLP 기법이 새로 생성된 다중 선택 문제의 난이도를 정확하게 추정할 수 있는가?
• RQ2 NLP 모델은 학생의 능력 수준을 구분하는 데 효과적인지, 즉 질문의 구분도 파라미터를 동일하게 추정할 수 있는가?
• RQ3 학생의 응답 데이터로부터 유도된 골드 스탠다드 IRT 추정치와 비교했을 때, 텍스트에서 유도된 IRT 파라미터화는 얼마나 정확한가?
• RQ4 기존 추정 방법 대비 R2DE는 지식 추적에서 성능 예측을 얼마나 향상시킬 수 있는가?
• RQ5 신뢰할 수 있는 초기 항목 파라미터 추정을 제공함으로써 R2DE는 사전 테스트의 필요성을 줄일 수 있는가?

주요 결과

• 난이도 추정에 대해 R2DE는 평균 절대 오차(MAE)가 0.639를 기록하였으며, 이는 데이터셋 내 전체 난이도 범위의 6.39%에 해당한다.
• 구분도 추정에 대해 R2DE는 MAE가 0.329를 기록하였으며, 이는 전체 구분도 범위의 9.4%에 해당한다.
• 학생 시험 성과 예측에서 R2DE의 정확도는 IRT로 추정된 잠재 특성으로 달성 가능한 상한선 대비 1.57% 뿐 낮게 나타났다.
• R2DE는 항목별 정보가 없는 다수 기준 대비 뚜렷하게 뛰어난 성능을 보였다.
• 저구분도 또는 목표가 불명확한 질문을 조기에 탐지할 수 있어, 배포 후 제거가 필요한 경우를 줄일 수 있었다.
• 결과적으로 R2DE는 교육 평가 파이프라인에서 비용이 많이 드는 사전 테스트와 주관적인 전문가 校정에 대한 의존도를 줄일 수 있음을 시사한다.