[논문 리뷰] T-SKIRT: Online Estimation of Student Proficiency in an Adaptive Learning System

Chaitanya Ekanadham, Yan Karklin|arXiv (Cornell University)|2017. 02. 14.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 4인용 수 18

한 줄 요약

T-SKIRT는 시간적, 구조화된 지식 기반의 IRT 기반 모델로, 전문가가 정의한 개념적 관계를 통합하여 시간에 따라 변화하는 학생의 학습과 多차원적 전문성 수준을 함께 모델링함으로써 온라인 학생의 응답 예측 성능을 향상시킨다. 실제 적응형 학습 데이터에서 표준 IRT 모델 대비 2.8%의 정확도 향상을 달성하였으며, 특히 예측이 어려운 학생들에 대해 뚜렷한 성능 향상을 보였다.

ABSTRACT

We develop T-SKIRT: a temporal, structured-knowledge, IRT-based method for predicting student responses online. By explicitly accounting for student learning and employing a structured, multidimensional representation of student proficiencies, the model outperforms standard IRT-based methods on an online response prediction task when applied to real responses collected from students interacting with diverse pools of educational content.

연구 동기 및 목표

• 적응형 학습 시스템에서 표준 항목 반응 이론(IRT)이 학생의 전문성 수준이 정적임을 가정함에 따라 발생하는 한계를 해결하기 위해.
• 표준 IRT가 포착하지 못하는 학생 능력의 시간적 변동성을 모델링하여 응답 예측 정확도를 향상시키기 위해.
• 단일 차원 IRT를 넘어서 다차원적 전문가 레이블링된 지식 구조(개념과 사전 지식 요구사항)를 통합하여 학생 전문성 수준을 보다 정확히 표현하기 위해.
• 랜덤 보존 또는 이상화된 평가 프로토콜이 아닌 실제 운영 조건에서 평가하기 위해, 이전 모든 상호작용을 기반으로 다음 학생의 응답을 예측하는 것.
• 시간적 동적 특성과 구조화된 지식 사전 지식이 실제 교육 데이터에서 예측 성능 향상에 측정 가능한 기여를 하는지 입증하기 위해.

제안 방법

• 두 매개변수 IRT(2PO) 프레임워크를 채택하며, probit 연결 함수를 사용하여 정답 응답 확률을 학생 전문성 수준(θ), 항목 난이도(β), 항목 분별도(α)의 함수로 모델링한다.
• 학생 전문성 수준에 대해 위너 과정 사전분포를 도입함으로써 시간적 요소를 통합하여, θ가 드리프트 항과 분산 파라미터 ν를 통해 시간에 따라 변화하도록 하며, 온라인 업데이트가 가능하도록 한다.
• 다차원 전문성 수준에 대해 다변량 정규분포(MVN) 사전분포를 사용하며, 전문가가 정의한 사전 지식 관계에 기반한 개념 간 상관관계(γ = 0.5)와 약한 정보 사전분포(ν = 0.1)를 통합한다.
• 베이지안 추론 프레임워크를 적용하여 모든 이전 응답으로부터 현재 학생 전문성 수준(θ̂)의 근사 후행분포를 최대화하고, 이를 바탕으로 다음 응답을 IRT 모델을 통해 예측한다.
• 학습 데이터에서 튜닝된 하이퍼파라미터를 포함한 계층적 사전분포 구조를 사용하며, λ(전문성 정밀도), ν(시간적 분산), γ(개념 간 상관관계 강도)를 포함한다.
• 각 단계에서 학생 전문성 수준을 추정하기 위해 볼록 최적화 기법(기울기 기반)을 사용하여 실시간 온라인 예측에 필요한 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 IRT에 시간적 동적 특성을 통합함으로써 실제 적응형 학습 시스템에서 온라인 응답 예측 정확도가 유의미하게 향상되는가?
• RQ2 전문가가 정의한 개념적 관계를 기반으로 다차원적 학생 전문성 수준을 모델링할 경우, 단일 차원 IRT보다 더 높은 예측 성능을 달성할 수 있는가?
• RQ3 시간적 모델링과 구조화된 다차원 사전 지식을 결합할 경우, 표준 IRT 또는 개별 개선 사항보다 상호보완적인 성능 향상이 이루어지는가?
• RQ4 예측이 어려운 학생들, 특히 전체 정답률이 중간 또는 낮은 학생들에 대해 모델 성능가 어떻게 달라지는가?
• RQ5 전문가가 제공한 개념 간 관계를 반영할 경우, 이러한 구조를 忽시하는 모델 대비 예측 정확도 향상 정도는 어느 정도인가?

주요 결과

• 학습 능력 수준에 위너 과정 사전분포를 도입하여 시간적 동적 특성을 IRT 프레임워크에 통합함으로써, 표준 2PO IRT 대비 예측 정확도가 2.0% 향상되었다.
• 전문가가 정의한 개념 그룹화를 반영한 다차원 전문성 수준 모델을 사용함으로써, 표준 2PO IRT 대비 정확도가 1.6% 향상되었다.
• 전문가가 정의한 개념 간 상관관계를 통합한 관련 다변량 정규분포 사전분포(γ = 0.5)를 적용함으로써 추가로 0.3%의 정확도 향상이 이루어져, 총 1.9%의 정확도 향상이 달성되었다.
• 시간적 동적 특성, 다차원 전문성 수준, 구조화된 사전 지식을 모두 통합한 T-SKIRT 모델은 실제 학생 데이터에서 표준 2PO IRT 대비 총 2.8%의 정확도 향상을 달성하였으며, 정확도는 0.7478에서 0.7201로 상승하였다.
• 성능 향상은 전반적으로 정답률이 중간 또는 낮은 학생들에서 가장 두드러졌으며, 이는 T-SKIRT가 어려운 케이스에서 불확실성과 학습 진행 상황을 더 잘 포착하고 있음을 시사한다.
• 정답률이 매우 높거나 매우 낮은 학생들에 대해서는 T-SKIRT가 표준 2PO IRT보다 略적으로 성능이 열 劣하므로, 극단적인 전문성 수준 영역을 모델링하는 데에는 한계가 있을 수 있음을 시사한다.