[논문 리뷰] Assessment meets Learning: On the relation between Item Response Theory and Bayesian Knowledge Tracing

Benjamin Deonovic, Michael Yudelson외 3명|arXiv (Cornell University)|2018. 03. 15.

Mental Health Research Topics참고 문헌 2인용 수 1

한 줄 요약

이 논문은 베이지안 지식 추적(Bayesian Knowledge Tracing, BKT)과 항목 반응 이론(Item Response Theory, IRT) 사이의 기본 이론적 연결을 수립하며, BKT의 은닉 지식 상태의 정적 분포가 IRT 모델과 대응됨을 보여준다. 최근의 네트워크 심리측정 기법을 활용하여 저자들은 이러한 연결을 네트워크 기반 모델로 일반화하여 종단적 및 橫断적 학습 평가 프레임워크를 통합한다.

ABSTRACT

Few models have been more ubiquitous in their respective fields than Bayesian knowledge tracing and item response theory. Both of these models were developed to analyze data on learners. However, the study designs that these models are designed for differ; Bayesian knowledge tracing is designed to analyze longitudinal data while item response theory is built for cross-sectional data. This paper illustrates a fundamental connection between these two models. Specifically, the stationary distribution of the latent variable and the observed response variable in Bayesian knowledge Tracing are related to an item response theory model. Furthermore, recent advances in network psychometrics demonstrate how this relationship can be exploited and generalized to a network model.

연구 동기 및 목표

• 종단적 학습 데이터를 위한 설계된 베이지안 지식 추적(BKT)과 횡단적 데이터를 위한 설계된 항목 반응 이론(IRT) 사이의 이론적 관계를 탐구하는 것.
• 특정 조건 하에서 BKT의 은닉 지식 상태의 정적 분포가 IRT 모델과 일치함을 보여주는 것.
• 최근의 네트워크 심리측정 기법을 활용하여 이러한 연결을 보다 광범위한 모델링 응용을 위해 일반화하는 것.
• 공통된 통계적 기반을 통해 종단적 및 횡단적 학습 평가 접근법을 통합하는 것.

제안 방법

• BKT의 은닉 지식 변수의 정적 분포에 대한 이론적 유도.
• BKT의 정적 분포를 IRT 모델의 정답 확률에 매핑하는 것.
• 네트워크 심리측정 모델을 활용하여 BKT-IRT 관계를 네트워크 구조로 확장하는 것.
• BKT의 장기적 지식 상태와 IRT의 능력 파라미터 간의 등가성을 공식화하는 것.
• 확률적 그래픽 모델을 사용하여 지식 상태와 응답의 결합 분포를 표현하는 것.

실험 결과

연구 질문

• RQ1 BKT의 은닉 지식 상태 변수의 정적 분포는 어떻게 IRT 모델과 관련이 있는가?
• RQ2 BKT와 IRT 사이의 연결은 표준 가정을 초월하여 일반화될 수 있는가?
• RQ3 네트워크 심리측정 모델은 종단적 및 횡단적 학습 평가를 통합하는 데 어떤 역할을 하는가?
• RQ4 BKT-IRT 대응 관계는 새로운 학습 평가 모델의 설계에 어떤 방식으로 기여할 수 있는가?

주요 결과

• BKT의 지식 상태 변수의 정적 분포는 IRT 모델의 정답 확률에 해당한다.
• 이 대응 관계는 학습과 지식 상태가 시간이 지남에 따라 안정화된다는 가정 하에서 성립한다.
• 이 관계를 통해 BKT의 파라미터를 항목 난이도 및 분별도와 같은 IRT 파라미터에 해당하는 것으로 재해석할 수 있다.
• 이론적 연결을 통해 네트워크 심리측정의 프레임워크를 활용하여 BKT를 네트워크 모델로 확장할 수 있다.