[論文レビュー] Transferring Fairness under Distribution Shifts via Fair Consistency Regularization

Bang An, Zora Che+2 more|arXiv (Cornell University)|Jun 26, 2022

Ethics and Social Impacts of AI被引用数 10

ひとこと要約

本稿では、グループを保存するデータ変換における一貫性のある予測を強制することで、分布シフト下での公平性と精度の転送を実現する自己教師学習手法であるFair Consistency Regularization（FCR）を提案する。この手法はグループ内拡張仮定に基づき、合成および実世界の画像・表形式データセットにおいて、ドメイン、サブポピュレーション、ハイブリッドシフトのあらゆる分布シフトにおいて、ベースラインを上回る公平性と精度の安定性を示す。

ABSTRACT

The increasing reliance on ML models in high-stakes tasks has raised a major concern on fairness violations. Although there has been a surge of work that improves algorithmic fairness, most of them are under the assumption of an identical training and test distribution. In many real-world applications, however, such an assumption is often violated as previously trained fair models are often deployed in a different environment, and the fairness of such models has been observed to collapse. In this paper, we study how to transfer model fairness under distribution shifts, a widespread issue in practice. We conduct a fine-grained analysis of how the fair model is affected under different types of distribution shifts and find that domain shifts are more challenging than subpopulation shifts. Inspired by the success of self-training in transferring accuracy under domain shifts, we derive a sufficient condition for transferring group fairness. Guided by it, we propose a practical algorithm with a fair consistency regularization as the key component. A synthetic dataset benchmark, which covers all types of distribution shifts, is deployed for experimental verification of the theoretical findings. Experiments on synthetic and real datasets including image and tabular data demonstrate that our approach effectively transfers fairness and accuracy under various distribution shifts.

研究の動機と目的

• 実世界の機械学習導入における分布シフト下で公平性が崩壊する理由を解明すること。
• 公平性転送においてドメインシフトがサブポピュレーションシフトよりも困難であることを特定すること。
• 理論的指針に基づいた自己教師学習手法を開発し、分布シフト下でも公平性を維持すること。
• 画像および表形式データを含む多様な合成および実世界データセット上で、その手法を検証すること。

提案手法

• グループ公平性の分布シフト下での転送の理論的十分条件を、グループ内拡張仮定に基づき提案する。
• 中心的要素としてFair Consistency Regularization（FCR）を導入し、感度属性を保存する変換において一貫した予測を強制する。
• ラベルなしのターゲットドメインデータを用いた自己教師学習を採用し、感度属性を保持する変換に対して予測の一貫性を正則化する。
• ドメイン、サブポピュレーション、ハイブリッドの多様な分布シフトを模擬する合成ベンチマークを活用する。
• 感度属性を変更する変換（例：コントラスト、色合い、ソラリズ）を除外することで、グループ内拡張仮定を保持するように変換を慎重に選定する。
• 画像および表形式データの両方に対して適用し、画像では標準的な増幅法、表形式データではドメイン固有の変換を用いる。

実験結果

リサーチクエスチョン

• RQ1 なぜ実世界の導入環境において分布シフト下で公平性が崩壊するのか？
• RQ2 ドメイン、サブポピュレーション、ハイブリッドの異なるタイプの分布シフトは、機械学習モデルにおける公平性の転送性にどのように影響するか？
• RQ3 分布シフト下でのドメイン間公平性転送を可能にする理論的条件は何か？
• RQ4 公平性に配慮した一貫性正則化を伴う自己教師学習は、分布がシフトしたターゲットドメインにおいて公平性と精度を効果的に維持できるか？
• RQ5 特定のデータ変換は公平性転送にどのように影響を与え、グループ内拡張仮定下で安全に使用可能な変換は何か？

主な発見

• ドメインシフトは、根本的に異なるデータ分布を含むため、サブポピュレーションシフトよりも公平性転送においてより困難である。
• Fair Consistency Regularizationは、合成および実世界の両方のデータセットにおいて、ドメイン、サブポピュレーション、ハイブリッドの3種類の分布シフトすべてにおいて、公平性転送を顕著に改善する。
• 本手法は、UTKFaceおよびFairFaceデータセットにおいて、ベースラインを常に上回る最先端の公平性および精度の転送性能を達成する。
• コントラスト、色合い、ソラリズなどの変換は、グループ内拡張仮定を破壊するため、不公平性を増加させ、結果として本手法から除外される。
• 本手法は半教師あり学習の差別の影響を軽減し、FixMatch実験における低パフォーマンスクラスの利益比を向上させる。
• 本手法は画像および表形式データの両方で有効であり、変換の質とグループを保存する性質に依存して性能向上が得られる。