[論文レビュー] Identifying Causes of Test Unfairness: Manipulability and Separability

Youmi Suk, Weicong Lyu|arXiv (Cornell University)|Jan 19, 2026

Psychometric Methodologies and Testing被引用数 0

ひとこと要約

この論文は、介入可能な治療分解と分離可能効果に基づく因果フレームワークを提案し、性別やELLステータスのような非操作可能なグループ変数におけるテストの不公正の実行可能で介入可能な源を特定し、因果森とBARTによる検出を実証する。

ABSTRACT

Differential item functioning (DIF) is a widely used statistical notion for identifying items that may disadvantage specific groups of test-takers. These groups are often defined by non-manipulable characteristics, e.g., gender, race/ethnicity, or English-language learner (ELL) status. While DIF can be framed as a causal fairness problem by treating group membership as the treatment variable, this invokes the long-standing controversy over the interpretation of causal effects for non-manipulable treatments. To better identify and interpret causal sources of DIF, this study leverages an interventionist approach using treatment decomposition proposed by Robins and Richardson (2010). Under this framework, we can decompose a non-manipulable treatment into intervening variables. For example, ELL status can be decomposed into English vocabulary unfamiliarity and classroom learning barriers, each of which influences the outcome through different causal pathways. We formally define separable DIF effects associated with these decomposed components, depending on the absence or presence of item impact, and provide causal identification strategies for each effect. We then apply the framework to biased test items in the SAT and Regents exams. We also provide formal detection methods using causal machine learning methods, namely causal forests and Bayesian additive regression trees, and demonstrate their performance through a simulation study. Finally, we discuss the implications of adopting interventionist approaches in educational testing practices.

研究の動機と目的

• DIFの因果的解釈の必要性を、性別やELLなどの非操作可能なグループ効果を超えて動機づける。
• DIFの分離可能な源を特定する介入論的治療分解アプローチを提案する。
• FFRCISTGフレームワーク下で、単純で一般的な分離可能DIFを定義し、同定戦略を確立する。
• SATと Regents試験の項目でフレームワークを実証し、試験実務への実務的含意を論じる。

提案手法

• 非操作可能な治療を、異なる因果経路を介して作用する介入可能な成分に分割する治療分解を採用する。
• 分離可能直接効果（SDE）と分離可能間接効果（SIE）を、SWIGsと潜在結果を用いて条件付き形で定義する。
• 項目影響なしの単純分離可能DIF（simple separable DIF）と、項目影響ありの一般分離可能DIF（general separable DIF）を、それぞれ対応する同定式とともに拡張する。
• 一貫性、無視可能性、陽性確率、排除可能成分条件（将来の試験G）の下で同定式を導出する。
• 因果森林とベイズ加法回帰木（BART）による検出法を提案する。
• SAT数学とRegents数学の実データ項目にフレームワークを適用し、性能を評価するためのシミュレーション研究を実施する。

実験結果

リサーチクエスチョン

• RQ1 非操作可能なグループ治療の分解から生じる分離可能な因果源は何か。
• RQ2 項目影響が欠如している場合と存在する場合で、分離可能DIFをどのように定義・同定できるか。
• RQ3 因果機械学習法（因果森林、BART）は実務で分離可能DIFを効果的に検出できるか。
• RQ4 SATとRegentsの例は、介入分解の下での実行可能なテスト不公正の源を何に示唆するか。

主な発見

• 分離可能DIFを、分解された治療成分によって定義される二つの介入可能な世界間の項目機能の差として導入する。
• FFRCISTGの下で、単純および一般的な分離可能DIFのノンパラメトリック同定戦略を、明示的な仮定とともに提供する。
• 因果森林とBARTを用いた検出法を実証し、シミュレーション研究で評価する。
• 実データの偏ったSATおよびRegents項目への適用を通じて、分離可能DIF成分の現実的な解釈可能性を示す。
• 教育評価におけるテスト不公正の実行可能な原因を特定・是正する介入論的アプローチの正当性を主張する。