[논문 리뷰] Computerized Adaptive Testing Simulation Through the Package catsim

Douglas De Rizzo Meneghetti, Plínio Thomaz Aquino|arXiv (Cornell University)|2017. 07. 10.

Educational Technology and Assessment인용 수 3

한 줄 요약

이 논문은 항목 반응 이론(IRT) 모델을 사용하여 컴퓨터 기반 적응형 시험(CAT)을 시뮬레이션할 수 있는 Python 기반 패키지인 catsim을 소개한다. 이 패키지는 항목 선택, 전문성 추정, 시험 종료를 지원하며, 수험자의 응답과 항목 노출를 모두 기록하는 기능을 제공하여 적응형 및 선형 시험 설계 모두를 지원한다.

ABSTRACT

This paper presents catsim, the first package written in the Python language specialized in computerized adaptive tests and the logistical models of Item Response Theory. catsim provides functions for generating item and examinee parameters, simulating tests and plotting results, as well as enabling end users to create new procedures for proficiency initialization, item selection, proficiency estimation and test stopping criteria. The simulator keeps a record of the items selected for each examinee as well as their answers and also enables the simulation of linear tests, in which all examinees answer the same items. The various components made available by catsim can also be used in the creation of third-party testing applications. Examples of such usages are also presented in this paper.

연구 동기 및 목표

• 항목 반응 이론(IRT) 모델에 기반한 전문화된 오픈소스 Python 패키지 개발을 통해 컴퓨터 기반 적응형 시험(CAT)을 시뮬레이션하는 것.
• 연구자 및 개발자가 CAT 절차를 테스트하고 비교할 수 있도록 유연한 프레임워크를 제공하는 것.
• 항목 노출 및 수험자 응답의 상세 기록을 통해 적응형 및 선형 시험을 모두 시뮬레이션할 수 있도록 하는 것.
• 전문성 초기화, 항목 선택, 추정, 정지 기준에 대한 사용자 정의 프로시저를 구현할 수 있도록 확장성 기능을 제공하는 것.
• 모듈식 설계를 통해 CAT 구성 요소를 제3자 시험 애플리케이션에 통합할 수 있도록 지원하는 것.

제안 방법

• 로지스틱 모델을 사용한 IRT 기반 항목 및 수험자 파라미터 생성 구현.
• 전문성 초기화, 항목 선택, 추정, 정지 기준에 대한 플러그인 컴포넌트를 허용하는 모듈식 아키텍처 설계.
• 실시간 전문성 추정 기반으로 동적으로 항목을 선택하여 적응형 시험을 시뮬레이션하는 것.
• 모든 수험자가 동일한 고정된 항목 세트를 풀이하는 선형 시험 시뮬레이션 지원.
• 모든 시뮬레이션 실행 동안 선택된 항목과 수험자 응답을 기록하는 것.
• 항목 노출 및 전문성 변화 경로 등을 포함한 시뮬레이션 결과를 플로팅하기 위한 시각화 기능 통합.

실험 결과

연구 질문

• RQ1 어떻게 IRT 모델을 사용하여 컴퓨터 기반 적응형 시험을 시뮬레이션할 수 있는 민첩하고 확장 가능한 Python 패키지를 설계할 수 있는가?
• RQ2 CAT 시뮬레이션에서 사용자 정의 가능한 항목 선택, 전문성 추정, 시험 종료 기준을 지원하기 위해 필요한 핵심 구성 요소는 무엇인가?
• RQ3 패키지가 항목 사용 및 응답의 완전한 추적 기능을 갖추고 적응형 및 선형 시험 시뮬레이션을 얼마나 잘 지원할 수 있는가?
• RQ4 패키지의 모듈식 아키텍처는 제3자 시험 애플리케이션에 통합하는 데 어떻게 기여하는가?
• RQ5 기존 도구와 비교했을 때 Python 기반 프레임워크를 사용하는 CAT 시뮬레이션의 실용적 이점은 무엇인가?

주요 결과

• catsim은 Python에서 항목 반응 이론(IRT) 모델을 사용하여 컴퓨터 기반 적응형 시험(CAT)을 위한 기능이 풍부한 시뮬레이션 환경을 성공적으로 구현하였다.
• 패키지는 항목 선택 및 수험자 응답의 상세 기록을 지원하여 재현성과 분석 가능성을 보장한다.
• 사용자는 플러그인 컴포넌트를 통해 항목 선택 및 정지 기준과 같은 핵심 CAT 절차를 사용자 정의할 수 있다.
• 시뮬레이터에서는 적응형 및 선형 시험 설계를 모두 지원하여 연구 및 응용 개발에서의 다양성과 활용도를 높였다.
• 모듈식 아키텍처 덕분에 제3자 시험 애플리케이션에 통합 가능하여 시뮬레이션 외적 활용도를 극대화하였다.
• 항목 노출 및 시간에 따른 전문성 추정 경로를 포함한 시뮬레이션 결과를 플로팅할 수 있는 시각화 도구가 제공된다.