[논문 리뷰] Application and Simulation of Computerized Adaptive Tests Through the Package catsim

Douglas De Rizzo Meneghetti, Plínio Thomaz Aquino|arXiv (Cornell University)|2017. 07. 10.

Engineering and Test Systems참고 문헌 10인용 수 9

한 줄 요약

이 논문은 컴퓨터 적응형 시험(CAT)을 항목 반응 이론(IRT) 모델을 사용하여 시뮬레이션할 수 있는 새로운 파이썬 패키지인 catsim을 소개한다. 이는 사용자가 항목 및 수험자 파라미터를 생성하고, 초기화, 항목 선택, 추정, 정지 기준을 사용자 정의할 수 있는 CAT을 시뮬레이션하며, 결과를 시각화할 수 있도록 해주며, 연구 및 응용 개발을 위한 확장 가능하고 모듈러한 구성 요소를 통해 파이썬 기반 CAT 시뮬레이션 도구의 핵심적 부족을 메운다.

ABSTRACT

This paper presents catsim, the first package written in the Python language specialized in computerized adaptive tests and the logistical models of Item Response Theory. catsim provides functions for generating item and examinee parameters, simulating tests and plotting results, as well as enabling end users to create new procedures for proficiency initialization, item selection, proficiency estimation and test stopping criteria. The simulator keeps a record of the items selected for each examinee as well as their answers and also enables the simulation of linear tests, in which all examinees answer the same items. The various components made available by catsim can also be used in the creation of third-party testing applications. Examples of such usages are also presented in this paper.

연구 동기 및 목표

• 연구자 및 개발자를 위해 파이썬 기반의 전문화된 오픈소스 CAT 시뮬레이션 도구의 부족을 보완하기 위해.
• 항목 선택, 응답, 전문성 추정의 완전한 추적 기능을 갖춘 모듈러하고 확장 가능한 프레임워크를 제공하여 컴퓨터 적응형 시험을 시뮬레이션하기 위해.
• 다양한 IRT 모델에서 작동하는 적응형 및 선형 시험을 모두 시뮬레이션할 수 있도록 하여 방법론적 비교 및 CAT 설계의 사전 테스트를 가능하게 하기 위해.
• 항목 특성 곡선, 시험 진행 상황, 항목 노출 빈도를 시각화하여 시험 평가 및 설계를 지원하기 위해.
• 재사용 가능하고 잘 문서화된 구성 요소를 통해 제삼자 시험 응용 프로그램에 통합될 수 있도록 지원하기 위해.

제안 방법

• 패키지는 전문성 초기화, 항목 선택, 전문성 추정, 시험 정지 기준 등의 CAT 구성 요소를 분리한 모듈러 아키텍처를 구현한다.
• 로지스틱 IRT 모델(예: 1PL, 2PL, 3PL)을 사용하며, 수치 계산을 위해 numpy 및 scipy와 같은 과학용 파이썬 라이브러리를 활용한다.
• 모든 수험자의 시험 기록을 완전히 유지하며, 각 단계에서 선택된 항목, 응답, 추정된 전문성 수준을 기록한다.
• 지정된 파라미터를 가진 항목 은행을 생성하고, 시험 운영을 시뮬레이션하며, ICC, 정보 곡선, 시험 진행 상황 등의 결과를 플롯하는 기능을 제공한다.
• 객체 지향 인터페이스를 통해 사용자가 커스터마이제이션된 절차를 정의할 수 있으며, 선택기 및 추정기와 같은 핵심 CAT 구성 요소의 확장을 가능하게 한다.
• 시각화 기능으로는 항목 곡선(ICC, IIC, 양측), 시험 진행 상황(전문성, 표준오차, 정보), 항목 노출 빈도를 히스토그램 또는 선 그래프로 플롯하는 기능이 포함되어 있다.

실험 결과

연구 질문

• RQ1 IRT 기반 시험을 위한 파이썬에서 실행 가능한 종합적이고 확장 가능하며 사용자 우아한 CAT 시뮬레이션 패키지를 어떻게 개발할 수 있는가?
• RQ2 다양한 항목 선택 및 전문성 추정 전략이 시뮬레이션된 CAT 환경에서 성능 및 행동적 차이가 어떻게 나타나는가?
• RQ3 catsim은 실제 운영 이전에 새로운 CAT 방법론의 설계 및 평가를 어느 정도 지원할 수 있는가?
• RQ4 catsim의 모듈러 구성 요소는 제삼자 시험 응용 프로그램에서 얼마나 효과적으로 재사용되며, 더 큰 평가 시스템에 통합될 수 있는가?
• RQ5 catsim은 항목 은행 및 시험 결과 분석 및 검증을 지원하기 위해 어떤 시각화 기능을 제공하는가?

주요 결과

• catsim는 IRT 모델링을 전문으로 하는 첫 번째 파이썬 네이티브 패키지로, 과학용 파이썬 생태계에서 중요한 격차를 메운다.
• 패키지는 항목 선택, 응답, 전문성 추정 기록을 포함한 모든 수험자에 대해 완전한 로깅을 지원하며, 적응형 및 선형 시험을 모두 성공적으로 시뮬레이션한다.
• 항목 특성 곡선, 정보 곡선, 전문성 추정의 진행 상황을 포함한 표준오차 및 정보 측정치의 시간에 따른 변화를 시각화할 수 있다.
• 항목 노출 빈도를 항목 파라미터 기준으로 정렬하거나 히스토그램으로 플롯할 수 있으며, 과도하게 사용된 항목을 탐지하는 데 도움이 된다.
• 모듈러 설계 덕분에 사용자가 초기화, 선택, 추정, 정지 기준을 커스터마이즈할 수 있어 연구 및 응용 개발의 유연성을 높인다.
• catsim의 구성 요소는 시뮬레이션 외부에서도 재사용 가능하므로, 실제 시험 응용 프로그램에 통합될 수 있다.