[論文レビュー] Transfer of Machine Learning Fairness across Domains

Candice Schumann, Xuezhi Wang+4 more|arXiv (Cornell University)|Jun 24, 2019

Ethics and Social Impacts of AI参考文献 31被引用数 26

ひとこと要約

本稿では、理論的境界と独創的なモデリング目的を活用して、データが乏しいターゲットドメインにおける公平性指標の向上を図るドメイン適応フレームワークを提案する。実験により、ソースドメイン（例：性別）からターゲットドメイン（例：人種）へデバイアス知識を転送することで、特にFPR乖離（誤検出率の差異）が顕著に低減され、再訓練を一切行わずに最小限のターゲットデータでベースライン手法を上回ることが示された。UCIおよびCOMPASデータセットを用いた合成的および実世界の実験で有効性が検証された。

ABSTRACT

If our models are used in new or unexpected cases, do we know if they will make fair predictions? Previously, researchers developed ways to debias a model for a single problem domain. However, this is often not how models are trained and used in practice. For example, labels and demographics (sensitive attributes) are often hard to observe, resulting in auxiliary or synthetic data to be used for training, and proxies of the sensitive attribute to be used for evaluation of fairness. A model trained for one setting may be picked up and used in many others, particularly as is common with pre-training and cloud APIs. Despite the pervasiveness of these complexities, remarkably little work in the fairness literature has theoretically examined these issues. We frame all of these settings as domain adaptation problems: how can we use what we have learned in a source domain to debias in a new target domain, without directly debiasing on the target domain as if it is a completely new problem? We offer new theoretical guarantees of improving fairness across domains, and offer a modeling approach to transfer to data-sparse target domains. We give empirical results validating the theory and showing that these modeling approaches can improve fairness metrics with less data.

研究の動機と目的

• 再訓練を一切行わず、データが乏しいターゲットドメインにソースドメインからの公平性を効果的に転送する課題に対処すること。
• ドメイン間で等しい機会と等しい結果の公平性指標を理論的に保証すること。
• 有効な公平性転送を可能にする一般化可能で理論的根拠を持つモデリング目的を設計すること。
• 実世界および合成的環境における公平性転送の有効性を実証的に検証すること、特に低データ環境下での性能を評価すること。

提案手法

• デバイアス知識をソースドメインからターゲットドメイン（異なるデータ分布を有する）に適用するドメイン適応問題として公平性転送を定式化する。
• ドメインシフト下での公平性指標転送、特にFPRギャップ（誤検出率の差異）に対する理論的境界を導出する。
• 共有表現と公平性に配慮したヘッドを用いて、精度と公平性転送の両方を同時に最適化するモデリング目的を提案する。
• 潜在表現上で敵対的訓練を実施し、ソースドメインとターゲットドメインの特徴を一致させつつ、公平性制約を維持する。
• 実世界のデータ不足と分布シフトを模擬するために、プロキシ感受性属性と合成データ拡張を用いる。
• バッチサイズ、学習率、隠れユニット数、埋め込み次元、訓練ステップなどのハイパーパramータを最適化するために、交差検証とハイパーパramータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータで、等しい機会や等しい結果といった公平性指標をソースドメインからターゲットドメインに効果的に転送できるか？
• RQ2 ソースドメインとターゲットドメインの感受性属性が異なる場合、特にドメインシフト下で公平性転送の理論的境界はどの程度有効に機能するか？
• RQ3 提案手法のモデリングアプローチは、ベースライン手法と比較して、低データターゲットドメインにおける公平性ギャップ（例：FPR乖離）をどの程度低減できるか？
• RQ4 モデルにおける公平性／転送ヘッドの重みを変化させた場合、精度と公平性のトレードオフはどのように変化するか？
• RQ5 公平性転送が失敗する状況はどのようなものか？また、データ分布やプロキシ品質などの要因の中で、転送可能性に最も強く影響を与える要因は何か？

主な発見

• TransferモデルはターゲットドメインにおけるFPRギャップを顕著に低減し、わずか50件のターゲットサンプルでもベースラインより低い乖離を達成した。
• UCIデータセットでは、性別から人種へ転送する際、ターゲット人種データが50件のみの状況で、FPRギャップがベースライン比で最大50%低減された。
• COMPASデータセットでは、すべてのターゲットサンプルサイズにおいて、Transferモデルが強固な公平性性能を維持し、FPRギャップがベースライン比で最大40%低減された。
• 精度と公平性の良好なトレードオフを達成しており、公平性転送を最適化しても、精度はベースラインモデルと2パーセンテージポイント以内で維持された。
• 実証的結果から、ソースドメインとターゲットドメインのデータ分布が類似している場合や、プロキシ感受性属性の整合性が高い場合、公平性転送がより効果的であることが示された。
• アブレーションスタディにより、公平性／転送ヘッドが性能に不可欠であることが確認され、その除去によりターゲットドメインにおけるFPRギャップが急激に増加した。