[논문 리뷰] Test item response time and the response likelihood

Srdjan Verbić, Boris Tomic|ArXiv.org|2009. 01. 27.

Psychometric Methodologies and Testing참고 문헌 18인용 수 6

한 줄 요약

이 연구는 컴퓨터 기반 물리 시험 문제에서 응답 시간이 정답일 가능성과 어떻게 관련되어 있는지 조사하며, 특히 남성 학생들에서 빠른 응답이 더 정확한 경향이 있으며, 이 관계는 문제의 난이도에 따라 달라진다는 것을 발견한다. 결과적으로 응답 시간은 시험 응시 행동의 의미 있는 지표이며, 저성과 평가에서 능력 추정과 편향 탐지에 보다 정확한 정보를 제공할 수 있다.

ABSTRACT

Test takers do not give equally reliable responses. They take different responding strategies and they do not make the same effort to solve the problem and answer the question correctly. The consequences of differential test takers' behavior are numerous: the test item parameters could be biased, there might emerge differential item functioning for certain subgroups, estimation of test taker's ability might have greater error, etc. All the consequences are becoming more prominent at low-stakes tests where test takers' motivation is additionally decreased. We had analyzed a computer based test in Physics and tried to find and describe relationship between the item response time and the item response likelihood. We have found that magnitude of such relationship depends on the item difficulty parameter. We have also noticed that boys, who respond faster, in average, give responses with greater likelihood than the boys who respond slower. The same trend was not detected for girls.

연구 동기 및 목표

• 컴퓨터 기반 시험에서 시험 문제 응답 시간과 정답일 가능성 간의 관계를 조사하기 위해.
• 응답 시간이 성별 집단 간 응답 가능성에 다르게 영향을 미치는지 조사하기 위해.
• 문제 난이도가 응답 시간과 정확성 간의 관계를 어떻게 조절하는지 평가하기 위해.
• 저성과 평가 환경에서 항목 파rameter 추정과 능력 측정에 대한 편향에 미치는 응답 시간의 영향을 탐색하기 위해.
• 응답 시간이 시험 응시 노력이나 전략의 행동적 지표로 기능할 수 있음을 입증하기 위해.

제안 방법

• 학생 샘플 대상으로 실시된 컴퓨터 기반 물리 시험의 응답 시간 및 정답 여부 데이터를 분석하였다.
• 응답 시간을 함수로 하는 정답 가능성 모델링을 위해 항목 반응 이론(ICT) 프레임워크를 사용하였다.
• 문제 난이도와 응답 시간 간의 상호작용을 분석하기 위해 문제를 고난이도 및 저난이도 그룹으로 분류하였다.
• 성별에 따른 하위집단 분석을 수행하여 응답 시간과 정답 가능성의 차이를 평가하였다.
• 응답 시간과 응답 가능성 간의 관계의 강도와 방향을 정량화하기 위해 통계 모델링을 적용하였다.
• 산점도와 추세선을 사용하여 다양한 문제 난이도에서의 패턴을 시각화하였다.

실험 결과

연구 질문

• RQ1 응답 시간은 시험 문제의 정답 가능성과 어떻게 관련되어 있는가?
• RQ2 남성과 여성 응시자 간에 응답 시간과 정확성 간의 관계가 다를까?
• RQ3 문제 난이도가 응답 시간과 정답 가능성 간의 관계를 어떻게 조절하는가?
• RQ4 응답 시간이 얼마나 시험 응시 노력이나 전략의 지표로 기능하는가?
• RQ5 응답 시간의 변동성이 항목 파rameter 추정과 능력 측정에 편향을 초래하는 정도는 어느 정도인가?

주요 결과

• 빠른 응답 시간은 특히 남성 응시자에서 더 높은 정답 가능성과 관련이 있었다.
• 빠르게 응답한 남성 학생들은 느린 응답자보다 유의미하게 더 높은 정답률을 보였지만, 여성 학생에서는 이와 같은 경향을 관찰할 수 없었다.
• 응답 시간과 정확성 간의 관계 강도는 문제 난이도에 따라 달라졌으며, 더 쉬운 문제에서 더 강한 영향을 보였다.
• 연구는 응답 시간이 능력 추정의 신뢰성에 영향을 줄 수 있는 의미 있는 행동적 지표임을 입증하였다.
• 성별과 문제 난이도에 따른 차이 있는 응답 패턴은 응답 시간을 간과할 경우 저성과 평가에서 편향의 잠재적 원인이 될 수 있음을 시사한다.
• 결과적으로 응답 시간을 심리측정 모델에 통합할 경우 능력 추정의 정확도를 향상시키고 파rameter 편향을 줄일 수 있음을 시사한다.