[論文レビュー] Comparative Separation: Evaluating Separation on Comparative Judgment Test Data

Xiaoyin Xi, Neeku Capak+2 more|arXiv (Cornell University)|Jan 11, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

要約: 本論文は比較的分離を定義し、それを二値分類の分離と同値であることを証明し、比較判断を用いた公正性評価のための統計的検定と検出力分析を開発する。理論をシミュレーションと実データセットで検証する。

ABSTRACT

This research seeks to benefit the software engineering society by proposing comparative separation, a novel group fairness notion to evaluate the fairness of machine learning software on comparative judgment test data. Fairness issues have attracted increasing attention since machine learning software is increasingly used for high-stakes and high-risk decisions. It is the responsibility of all software developers to make their software accountable by ensuring that the machine learning software do not perform differently on different sensitive groups -- satisfying the separation criterion. However, evaluation of separation requires ground truth labels for each test data point. This motivates our work on analyzing whether separation can be evaluated on comparative judgment test data. Instead of asking humans to provide the ratings or categorical labels on each test data point, comparative judgments are made between pairs of data points such as A is better than B. According to the law of comparative judgment, providing such comparative judgments yields a lower cognitive burden for humans than providing ratings or categorical labels. This work first defines the novel fairness notion comparative separation on comparative judgment test data, and the metrics to evaluate comparative separation. Then, both theoretically and empirically, we show that in binary classification problems, comparative separation is equivalent to separation. Lastly, we analyze the number of test data points and test data pairs required to achieve the same level of statistical power in the evaluation of separation and comparative separation, respectively. This work is the first to explore fairness evaluation on comparative judgment test data. It shows the feasibility and the practical benefits of using comparative judgment test data for model evaluations.

研究の動機と目的

• Ground-truthラベルがコスト高いまたは信頼性が低い ML における公正性評価の必要性を動機づける。
• 比較判断に基づく公正性概念として比較的分離を導入する。
• 比較的分離と二値分類の分離の理論的同値性を証明する。
• 分離と比較的分離を評価するための仮説検定と検出力分析を開発する。

提案手法

• データ点間のペアwise 比較判断に対して比較的分離を定義する。
• 等価性を確立する：比較的分離は二値分類での標準的な分離が成り立つ場合に限り満たされる（定理3.3）。
• ペアwise データを用いた分離と比較的分離の指標と統計検定を提案する（TPR および関連量を含む）。
• 同じ統計的検力を達成するには、二値設定での検定パワーを同等にするには比較的分離には概ねデータ対の数が2倍必要であることの検出力分析を提供する。
• 分類と回帰の両方の文脈に対して比較判断を介して評価フレームワークを拡張する。
• シミュレーションとソフトウェア工学の実データ公正性データセットを用いて発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 比較的分離は二値分類の分離と同値か。
• RQ2 RQ2: 二値分類器に対して分離または比較的分離が満たされるかを統計的に検定するにはどうするか。
• RQ3 RQ3: 分離と比較的分離の所望の統計的検力を達成するには、どれくらいのテストデータ点または対が必要か。

主な発見

• 比較的分離は理論的には二値分類設定の分離と同値である（定理3.3）。
• 分離と比較的分離の統計検定は2つの帰無仮説に依存し、α = 0.05 のとき共通の第一種過誤率は 0.0975。
• 二値分類で同じ統計的検力を得るには、分離より比較的分離のテストデータ対数が約2倍必要（セクション3.4.2）。
• 第一種過誤率を推定し必要なサンプルサイズを算出する検出力分析の式と命題を提供（命題3.4および3.5）。
• シミュレーションと実世界の公正性データセットを用いた経験的検証は理論的結果を支持し、比較判断を用いた公正性評価の実現可能性を示す。
• 実験用コードとデータは公開されている（GitHub: https://github.com/hil-se/Comparative_Separation）。