[논문 리뷰] Latent Skill Embedding for Personalized Lesson Sequence Recommendation

Siddharth Reddy, Igor Labutov외 1명|arXiv (Cornell University)|2016. 02. 23.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 26인용 수 10

한 줄 요약

이 논문은 특징 공학 또는 사전 개념 주석이 필요 없이 원시 액세스 트레이스에서 학생, 수업, 평가의 공동 표현을 학습하는 확률적 모델인 잠재 기술 임베딩(Latent Skill Embedding, LSE)을 제안한다. 정규화된 최대우도 임베딩을 통해 학습 동역학을 모델링함으로써 LSE는 평가 결과를 효과적으로 예측하고, 주어진 수업 순서보다 훨씬 높은 마스터리 비율을 달성하는 개인화된 수업 순서를 추천한다. 이는 Knewton의 실세계 데이터에서 벤치마크를 초월한다.

ABSTRACT

Students in online courses generate large amounts of data that can be used to personalize the learning process and improve quality of education. In this paper, we present the Latent Skill Embedding (LSE), a probabilistic model of students and educational content that can be used to recommend personalized sequences of lessons with the goal of helping students prepare for specific assessments. Akin to collaborative filtering for recommender systems, the algorithm does not require students or content to be described by features, but it learns a representation using access traces. We formulate this problem as a regularized maximum-likelihood embedding of students, lessons, and assessments from historical student-content interactions. An empirical evaluation on large-scale data from Knewton, an adaptive learning technology company, shows that this approach predicts assessment results competitively with benchmark models and is able to discriminate between lesson sequences that lead to mastery and failure.

연구 동기 및 목표

• 온라인 교육에서 개인화된 수업 순서 추천을 위한 도메인에 관계없이 적용 가능한 데이터 기반 프레임워크를 개발하기 위해.
• 전문가가 주석을 달지 않은 개념 매핑이나 수작업으로 만든 특징에 의존하지 않고 학생 지식과 콘텐츠 간 관계를 모델링하기 위해.
• 이진 액세스 트레이스(예: 합격/불합격, 완료 여부)만을 사용하여 학생, 수업, 평가의 공동 임베딩을 학습하기 위해.
• 모델이 평가에서 마스터리에 도달하는 경로와 실패로 이어지는 경로를 추천할 수 있는 능력을 평가하기 위해.
• 다양한 온라인 학습 플랫폼에 적용 가능한 확장성 있고 일반적인 솔루션을 제공하기 위해.

제안 방법

• 모델은 정규화된 최대우도 추정을 사용하여 학생, 수업, 평가를 공유하는 저차원의 의미 공간에 임베딩한다.
• 학생-콘텐츠 상호작용을 관측으로 간주하고, 관측된 결과(예: 합격/불합격, 완료 여부)의 가능도를 최대화하는 잠재 표현을 학습한다.
• 임베딩 공간은 학생 숙련도와 콘텐츠 파ameters의 공동 최적화를 통해 기술 습득의 진행 상황과 평가 난이도를 포착한다.
• 선수과목 관계와 개인 차이를 모델링할 수 있도록 이중 차원의 임베딩 모델에 전제 조건 및 편향 항목을 사용한다.
• L2 정규화를 적용한 로지스틱 회귀를 통한 확률적 점수 매칭을 사용하여 추천의 인과적 영향을 추정한다.
• 관측 데이터에서 추천된 경로와 비추천 경로의 결과를 비교하기 위해 복원을 허용한 최근접 이웃 매칭을 사용한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 임베딩 모델은 원시 액세스 트레이스만으로도 학생 지식과 교육 콘텐츠의 의미 있는 표현을 학습할 수 있는가?
• RQ2 학습된 임베딩은 평가에서 학생 성과를 정확하게 예측할 수 있는가?
• RQ3 모델은 다른 경로보다 높은 마스터리 비율로 이어지는 개인화된 수업 순서를 추천할 수 있는가?
• RQ4 확률적 점수 매칭을 기반으로 한 인과 추론 프록시를 사용할 때 추천 품질은 얼마나 견고한가?
• RQ5 전문가가 주석을 달지 않은 개념 없이 다양한 콘텐츠와 학생 집단에 대해 모델이 얼마나 일반화될 수 있는가?

주요 결과

• LSE 모델은 특징 공학 없이도 벤치마크 모델과 경쟁 가능한 예측 성능을 달성한다.
• 모델은 실세계 데이터에서 마스터리로 이르는 수업 순서와 실패로 이르는 수업 순서를 효과적으로 구분한다.
• 확률적 점수 매칭 결과, 추천된 경로가 더 높은 합격률을 보이며, 경로 품질의 차이가 클수록 효과가 더 두드러진다.
• 매칭에 사용된 최근접 이웃 수의 변화에 관계없이 모델의 추천 품질이 안정적이므로 인과 추정의 안정성이 높다.
• Knewton의 200만 건 이상의 액세스 트레이스를 포함한 대규모 데이터셋을 통해 다양한 교육 콘텐츠와 학생 집단에 대해 잘 일반화됨을 입증하였다.
• 구현 코드와 IPython 노트북이 공개되어 있어 재현성과 프레임워크의 확장이 가능하다.