[논문 리뷰] Survey of Computerized Adaptive Testing: A Machine Learning Perspective

Yan Zhuang, Qi Liu외 13명|arXiv (Cornell University)|2024. 03. 31.

Medical Imaging and Analysis인용 수 5

한 줄 요약

기계학습 중심의 컴퓨터화 적응 검사(CAT)에 관한 조사로, 인지 진단, 문항 선택, 문항 은행 구성, 그리고 시험 제어를 개관하며 오픈 소스 도구 모음을 제공합니다.

ABSTRACT

Computerized Adaptive Testing (CAT) offers an efficient and personalized method for assessing examinee proficiency by dynamically adjusting test questions based on individual performance. Compared to traditional, non-personalized testing methods, CAT requires fewer questions and provides more accurate assessments. As a result, CAT has been widely adopted across various fields, including education, healthcare, sports, sociology, and the evaluation of AI models. While traditional methods rely on psychometrics and statistics, the increasing complexity of large-scale testing has spurred the integration of machine learning techniques. This paper aims to provide a machine learning-focused survey on CAT, presenting a fresh perspective on this adaptive testing paradigm. We delve into measurement models, question selection algorithm, bank construction, and test control within CAT, exploring how machine learning can optimize these components. Through an analysis of current methods, strengths, limitations, and challenges, we strive to develop robust, fair, and efficient CAT systems. By bridging psychometric-driven CAT research with machine learning, this survey advocates for a more inclusive and interdisciplinary approach to the future of adaptive testing.

연구 동기 및 목표

• 심리측정학과 기계학습의 다리를 놓기 위해 CAT에 대한 기계학습 중심의 조사를 도입한다.
• CAT의 전체 생애 주기를 포괄하는 통합 프레임워크를 제시한다: 인지 진단 모델, 선택 알고리즘, 문항 은행 구성, 그리고 시험 제어.
• 현행 ML 기반 CAT 방법의 강점, 한계 및 도전을 분석한다.
• 신뢰할 수 있는 CAT에 결정적인 요인들(콘텐츠 균형, 공정성, 견고성, 탐색 효율)을 강조하고 향후 방향을 제시한다.
• 빠른 CAT 개발을 지원하기 위한 오픈 소스이며 확장 가능한 구현(EduCAT)을 제공한다.

제안 방법

• CAT를 네 가지 ML 중심 구성요소(Cognitive Diagnosis Model (CDM), Selection Algorithms, Question Bank Construction, 및 Test Control)로 고찰한다.
• CDM 출력값을 사용한 능력 추정과 적응 문항 선택이 포함된 형식적 CAT 작업을 설명한다.
• 주요 방정식과 목적함수를 포함하여 전통적(통계적) 및 현대적(RL, 메타 학습, 부분집합 선택) 선택 접근법을 조사한다.
• CDMs를 Latent Trait Models, Diagnostic Classification Models, 및 Deep Learning Models로 분류하고 대표적인 예를 제시한다.
• 능력 추정 및 CAT 효과성 평가 방법을 논의하며, 교차 엔트로피(cross-entropy) 및 MSE 기반 평가를 포함한다.

실험 결과

연구 질문

• RQ1 CAT에서 능력을 모델링하고 문항을 선택하는 데 사용되는 기계학습 방법은 무엇인가?
• RQ2 인지 진단 모델, 선택 알고리즘, 문항 은행 구성 방법이 CAT의 신뢰도, 공정성 및 효율성에 어떻게 상호 작용하는가?
• RQ3 ML 기반 CAT 시스템의 현재 한계와 향후 방향은 무엇이며, 오픈 소스 도구가 연구를 어떻게 진전시킬 수 있는가?

주요 결과

• 본 조사는 CDM, 선택, 은행 구성, 시험 제어에 걸친 CAT에 대한 기계학습 주도형 종합 검토를 최초로 제시한다.
• 콘텐츠 균형, 공정성, 견고성, 탐색 효율성과 같이 이전 리뷰에서 간과되기 쉬운 신뢰할 수 있는 CAT에 결정적인 요인을 강조한다.
• ML 기법(딥 러닝, RL, 메타 학습)이 능력 진단, 데이터 기반 문항 선택, 자동 은행 구성에 가능성을 보인다고 보고한다.
• 연장 가능하고 오픈 소스인 라이브러리(EduCAT)가 연구자들이 CAT 시스템을 개발하고 비교하는 데 도움을 주기 위해 공개되었다.
• 본 논문은 CAT 작업을 네 부분으로 분류하고 실제 배치에 대한 노출 제어 및 견고성과 같은 실용적 고려사항을 논의한다.
• 고전적 심리측정 이론과 현대 ML 방법을 연결하여 통합적이고 학제 간 CAT 연구에 대한 지침을 제공한다.