[論文レビュー] Limitations of Pinned AUC for Measuring Unintended Bias

Daniel Borkan, Lucas Dixon+4 more|arXiv (Cornell University)|Mar 5, 2019

Imbalanced Data Classification Techniques参考文献 3被引用数 8

ひとこと要約

この論文は、機械学習モデルにおける意図しないバイアスを測定するためのPinned AUC指標の根本的な制限を特定し、アイデンティティサブグループ間のクラス分布が不均衡である場合に、誤った結果を生じることを示している。著者らは、Pinned AUCがデータの不均衡によってバイアス測定を誤って低くまたは高く評価してしまう可能性があることを示し、代わりに先行研究で提案された閾値に依存しない指標を用いるべきだと提言している。

ABSTRACT

This report examines the Pinned AUC metric introduced and highlights some of its limitations. Pinned AUC provides a threshold-agnostic measure of unintended bias in a classification model, inspired by the ROC-AUC metric. However, as we highlight in this report, there are ways that the metric can obscure different kinds of unintended biases when the underlying class distributions on which bias is being measured are not carefully controlled.

研究の動機と目的

• Pinned AUCの根本的な欠陥を暴露すること：アイデンティティサブグループ間のクラス分布の不均衡に敏感である点。
• テストデータが完全にバランスされていない場合、Pinned AUCが真のバイアスの程度を歪めて表現する可能性があることを示すこと。
• Pinned AUCを4つのペアワイズ比較（バックグラウンド対サブグループ、およびクロスクラスペア）に分解することで、その分布シフトに対する脆弱性を明らかにすること。
• 先行研究[1]で提案された閾値に依存しない指標を、Pinned AUCよりも頑健で洗練された代替手段として推奨すること。
• アイデンティティ用語に不均衡をもたらしたスケーリングされた合成テストセットを導入することで、Pinned AUCの不安定性を現実に近いデータ上で検証すること。

提案手法

• Pinned AUCは、50%のサブグループ例と50%のバックグラウンド例からなるマージドデータセットのAUCとして定義され、'ピン留め'された分布を形成する。
• Mann-Whitney U統計量を用いて数学的に分解し、バックグラウンド対サブグループ、およびクロスクラスペアの4つのペアワイズ比較からの寄与を分離する。
• 実世界のデータの歪みを模倣するために、アイデンティティ用語「gay」の非毒性例を削減することで、合成テストセットにクラスの不均衡を導入する。
• Pinned AUCは、バランス済みおよび歪んだ両方のテストセットで再評価され、サンプルノイズを低減するために100回のランダム試行の平均値が用いられる。
• 分解により、Pinned AUCが、クラス内およびクラス外のペアの相対的サイズに敏感な、4つのAUC成分の重み付き平均であることが明らかになった。
• 同一のモデル行動を示すにもかかわらず、バランス済みおよび歪んだデータの両方で、Pinned AUCのバイアス測定が一貫しないことを示すために、TOXICITY@1とTOXICITY@6のモデルで比較した。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティサブグループ間のクラス分布の不均衡が、Pinned AUCがバイアス測定に与える信頼性にどのように影響するか？
• RQ2 毒性例と非毒性例の割合がサブグループ間で異なる場合、Pinned AUCが誤ってバイアスが低減されたと示すような誤った結果を生じる可能性はあるか？
• RQ3 Pinned AUCがデータ分布のシフトに敏感である数学的構造は何か？
• RQ4 クラス分布の不均衡に強く、意図しないバイアスのより正確な視覚化を可能にする代替の閾値に依存しない指標は存在するか？
• RQ5 制御された合成実験を通じて、Pinned AUCは現実のデータ分布においてどの程度失敗するのか？

主な発見

• 非毒性例を50%削減したことで、アイデンティティ用語「gay」のPinned AUCは0.87から0.91に上昇し、モデルの行動に変化がないにもかかわらず、バイアスが低減したと誤って示した。
• 同じモデル（TOXICITY@1）において、歪んだデータセット上での「gay」のPinned AUCは0.04上昇し、クラスの不均衡に起因する顕著な歪みが生じた。
• 歪んだデータセットにおける「gay」のPinned AUC（0.91）は、他の用語（「lesbian」：0.91、「transgender」：0.97）よりも高かったが、実際のバイアスは変化していない。
• Pinned AUCを4つのMann-Whitney Uに基づく成分に分解することで、その値がクラス内およびクラス外ペアの相対的サイズに敏感な重み付き平均であることが明らかになった。
• 著者らは、Pinned AUCがすべてのアイデンティティサブグループのクラス分布が同一である場合にのみ信頼できると確認したが、これは現実のデータではめったに満たされない条件である。
• 先行研究[1]で提案された閾値に依存しない指標は、分布のシフトに強く、Pinned AUCよりも正確で洗練された意図しないバイアスの視覚化を提供する。