[논문 리뷰] The Causal Effect of Answer Changing on Multiple-Choice Items

Yongnam Kim|arXiv (Cornell University)|2018. 08. 31.

Advanced Causal Inference Techniques참고 문헌 17인용 수 1

한 줄 요약

이 연구는 잠재적 결과 프레임워크를 사용하여 다중선택형 시험에서 정답을 바꾸는 것이 치료를 받은 집단에 대한 평균 치료 효과(ATT)는 양의 영향을 미친다는 것을 보여주며, 이는 정답을 바꾸는 학생들이 유리하다는 것을 의미한다. 반면, 치료를 받지 않은 집단에 대한 평균 치료 효과(ATU)는 음수이며, 이는 정답을 바꾸지 않는 학생들이 행동으로 인해 손해를 입는다는 것을 시사한다. 이러한 발견들은 오랫동안 이어진 논란을 두 효과를 구분함으로써 해결한다.

ABSTRACT

Whether examinees' answer changing behavior while taking multiple-choice exams is beneficial or harmful is a long-standing puzzle in the educational and psychological measurement literature. Formalizing the problem using the potential outcomes framework, this article shows that the traditional method of comparing the proportions of to and right to wrong answer changing patterns--a method that has recently been criticized by van der Linden, Jeon, and Ferrara (2011)--indeed correctly identify the sign of the average answer changing effect, but only for those examinees who actually changed their initial responses. This subgroup effect is referred to as the average treatment effect on the treated (ATT) and generally differs from the average treatment effect on the untreated (ATU), that is, those who did not change their initial responses. Analyzing two real data sets, including van der Linden et al.'s (2011) controversial data, this article finds that the ATT of answer changing is positive while the ATU of answer changing is negative, therefore, the debate on answer changing effects can be easily resolved. The article also shows that answer changing and answer reviewing are two distinct treatments and knowing answer changing effects is not informative for predicting answer reviewing effects.

연구 동기 및 목표

• 다중선택형 시험에서 정답을 바꾸는 것이 유익한지 유해한지에 대한 오랫동안 지속된 논란을 해결하기 위해.
• 오른쪽에서 왼쪽, 왼쪽에서 오른쪽으로 정답을 바꾸는 패턴을 비교하는 전통적 방법의 한계를 명확히 하기 위해.
• 정답을 바꾸는 행동에서 치료를 받은 집단에 대한 평균 치료 효과(ATT)와 치료를 받지 않은 집단에 대한 평균 치료 효과(ATU)를 구분하기 위해.
• 정답을 바꾸는 것과 정답을 다시 검토하는 것이 서로 다른 과정이며, 서로 다른 인과적 영향을 미친다는 것을 입증하기 위해.
• 실제 데이터 세트를 사용하여 정답을 바꾸는 진짜 영향을 평가하기 위한 인과적 프레임워크를 제공하기 위해, 특히 반 데르 린데르 등(2011)의 논란이 있었던 데이터를 포함하여.

제안 방법

• 잠재적 결과 프레임워크를 사용하여 정답을 바꾸는 것을 인과적 치료로 공식화하기 위해.
• 정답을 바꾼 수험자들에게 대해 치료를 받은 집단에 대한 평균 치료 효과(ATT)를 추정하기 위해.
• 정답을 바꾸지 않은 수험자들에게 대해 치료를 받지 않은 집단에 대한 평균 치료 효과(ATU)를 추정하기 위해.
• 반 데르 린데르 등(2011)의 데이터를 포함한 두 개의 실제 데이터 세트를 분석하여 ATT와 ATU를 계산하기 위해.
• 인과 모델에서 정답을 바꾸는 것과 정답을 다시 검토하는 것을 별개의 치료로 구분하기 위해.
• 통계적 모델링을 사용하여 ATT와 ATU의 방향과 크기를 비교하여, 이들이 서로 다른 영향을 미친다는 것을 드러내기 위해.

실험 결과

연구 질문

• RQ1 오른쪽에서 왼쪽, 왼쪽에서 오른쪽으로 정답을 바꾸는 패턴을 비교하는 전통적 방법이 치료를 받은 집단에 대한 평균 치료 효과(ATT)의 부호를 올바르게 식별하는가?
• RQ2 다중선택형 문제에서 정답을 바꾸는 수험자들에게 대해 치료를 받은 집단에 대한 평균 치료 효과(ATT)는 무엇인가?
• RQ3 정답을 바꾸지 않는 수험자들에게 대해 치료를 받지 않은 집단에 대한 평균 치료 효과(ATU)는 무엇인가?
• RQ4 정답을 바꾸는 행동이 정답을 바꾸는 사람과 바꾸지 않는 사람에게서 어떻게 다른 영향을 미치는가?
• RQ5 정답을 바꾸는 효과가 정답을 다시 검토하는 효과를 예측하는 데 얼마나 유용한가?

주요 결과

• 정답을 바꾸는 데 대한 치료를 받은 집단에 대한 평균 치료 효과(ATT)는 양수이며, 이는 정답을 바꾸는 학생들이 성적을 향상시킨다는 것을 의미한다.
• 정답을 바꾸는 데 대한 치료를 받지 않은 집단에 대한 평균 치료 효과(ATU)는 음수이며, 이는 정답을 바꾸지 않는 학생들이 정답을 바꾸는 행동이 치료로 간주될 경우 손해를 입는다는 것을 의미한다.
• ATT와 ATU는 유의미하게 다름을 보이며, 이는 정답을 바꾸는 행동의 총 영향이 어떤 군집을 고려하는지에 따라 달라진다는 것을 보여준다.
• 정답을 바꾸는 것과 정답을 다시 검토하는 것은 별개의 치료이며, 정답을 바꾸는 효과에 대한 지식은 정답을 다시 검토하는 효과에 대한 예측을 도와주지 않는다.
• 반 데르 린데르 등(2011)의 데이터 분석은 ATT가 양수이고 ATU가 음수임을 확인하여, 정답을 바꾸는 것이 그것을 하는 사람들에게는 유익하다는 점에서 논란을 해결한다.
• 전통적 방법으로 오른쪽에서 왼쪽, 왼쪽에서 오른쪽으로의 패턴을 비교하는 것은 ATT의 부호를 정확히 식별하지만, 전체적인 인과적 그림을 포괄하지 못한다는 것을 드러낸다.