[논문 리뷰] Identifying Causes of Test Unfairness: Manipulability and Separability

Youmi Suk, Weicong Lyu|arXiv (Cornell University)|2026. 01. 19.

Psychometric Methodologies and Testing인용 수 0

한 줄 요약

이 논문은 치료 분해와 구분 가능한 효과에 기초한 원인적(DIF) 프레임워크를 도입하여 gender 및 ELL 상태와 같은 비조작 가능한 그룹 변수에서의 테스트 불공정성의 실행 가능하고 개입 가능한 원인을 식별하고, 인과 숲(Causal Forests)과 BART를 통해 탐지하는 방법을 보여준다.

ABSTRACT

Differential item functioning (DIF) is a widely used statistical notion for identifying items that may disadvantage specific groups of test-takers. These groups are often defined by non-manipulable characteristics, e.g., gender, race/ethnicity, or English-language learner (ELL) status. While DIF can be framed as a causal fairness problem by treating group membership as the treatment variable, this invokes the long-standing controversy over the interpretation of causal effects for non-manipulable treatments. To better identify and interpret causal sources of DIF, this study leverages an interventionist approach using treatment decomposition proposed by Robins and Richardson (2010). Under this framework, we can decompose a non-manipulable treatment into intervening variables. For example, ELL status can be decomposed into English vocabulary unfamiliarity and classroom learning barriers, each of which influences the outcome through different causal pathways. We formally define separable DIF effects associated with these decomposed components, depending on the absence or presence of item impact, and provide causal identification strategies for each effect. We then apply the framework to biased test items in the SAT and Regents exams. We also provide formal detection methods using causal machine learning methods, namely causal forests and Bayesian additive regression trees, and demonstrate their performance through a simulation study. Finally, we discuss the implications of adopting interventionist approaches in educational testing practices.

연구 동기 및 목표

• 성별, ELL과 같은 비조작 가능한 그룹 효과를 넘어서 DIF의 인과적 해석의 필요성을 동기 부여한다.
• 개입주의 치료 분해 접근법을 제안하여 구분 가능한 DIF 원인을 식별한다.
• 단순한 구분 가능한 DIF와 일반적 구분 가능한 DIF를 정의하고 FFRCISTG 프레임워크 하에서 식별 전략을 확립한다.
• SAT 및 Regents 시험 문항으로 프레임워크를 설명하고 시험 실무에 대한 실용적 함의를 논의한다.

제안 방법

• 비조작 가능한 처치를 서로 다른 인과 경로를 통해 작동하는 개입 가능한 구성요소로 분리하기 위해 치료 분해를 채택한다.
• SWIGs와 잠재 결과를 사용하여 구분 가능한 직접 효과(SDE)와 간접 효과(SIE) 및 그 조건부 형태를 정의한다.
• 아이템 영향이 없는 단순 구분 가능한 DIF(간단한 구분 가능 DIF)과 아이템 영향이 있는 일반 구분 가능한 DIF로 확장하고 대응되는 식별 공식을 제시한다.
• 일관성, 무시가능성, 양성성 및 면제 가능한 구성요소 조건(향후 실험 G)하에서 식별 공식을 도출한다.
• 인과 숲과 베이지안 가법 회귀 나무(BART)를 사용한 탐지 방법을 제안한다.
• SAT 수학 및 Regents 수학 시험의 실제 문항에 프레임워크를 적용하고 성능을 평가하기 위한 시뮬레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 비조작 가능한 그룹 처치를 분해하여 생겨나는 DIF의 구분 가능한 인과 원천은 무엇인가?
• RQ2 아이템 영향이 없거나 있을 때 구분 가능한 DIF를 어떻게 정의하고 식별할 수 있는가?
• RQ3 인과적 머신러닝 방법(인과 숲, BART)이 실제로 구분 가능한 DIF를 효과적으로 탐지할 수 있는가?
• RQ4 개입주의 분해 하에 SAT와 Regents 사례가 실행 가능한 시험 불공정의 원천에 대해 무엇을 보여주는가?

주요 결과

• 치료 구성요소로 분해되어 정의된 두 개의 개입 가능한 세계 사이의 문항 기능 차이로서의 구분 가능한 DIF를 소개한다.
• 명시적 가정을 갖고 FFRCISTG 하에서 단순한 구분 가능한 DIF와 일반 구분 가능한 DIF에 대한 비모수적 식별 전략을 제시한다.
• 인과 숲과 BART를 이용한 탐지 방법을 시연하고 시뮬레이션 연구를 통해 평가한다.
• 구분 가능한 DIF 구성요소의 실제 해석 가능성을 보여주기 위해 편향된 SAT 및 Regents 문항에 프레임워크를 적용한다.
• 교육 평가에서 실행 가능한 시험 불공정의 원인을 식별하고 시정하기 위한 개입주의 접근을 옹호한다.