[論文レビュー] InfoFair: Information-Theoretic Intersectional Fairness

Jian Kang, Tiankai Xie+3 more|arXiv (Cornell University)|May 24, 2021

Ethics and Social Impacts of AI参考文献 37被引用数 4

ひとこと要約

本稿では、複数の感受性属性の交差を考慮した統計的同等性を保証する情報理論的枠組みであるInfoFairを提案する。この手法は、モデルの予測と複数の感受性属性の結合ベクトルとの相互情報量を最小化することで、すべての文化的・文化的なサブグループにわたる統計的同等性を確保する。変分表現を用いることで、相互情報量の微分可能最適化が可能となり、多様な学習タスクにおいてエンドツーエンドで勾配ベースのバイアス除去が実現可能であり、精度の低下を最小限に抑えつつ顕著な公平性の向上を示している。実世界のデータセットを用いた実験により、優れた性能が確認された。

ABSTRACT

Algorithmic fairness is becoming increasingly important in data mining and machine learning. Among others, a foundational notation is group fairness. The vast majority of the existing works on group fairness, with a few exceptions, primarily focus on debiasing with respect to a single sensitive attribute, despite the fact that the co-existence of multiple sensitive attributes (e.g., gender, race, marital status, etc.) in the real-world is commonplace. As such, methods that can ensure a fair learning outcome with respect to all sensitive attributes of concern simultaneously need to be developed. In this paper, we study the problem of information-theoretic intersectional fairness (InfoFair), where statistical parity, a representative group fairness measure, is guaranteed among demographic groups formed by multiple sensitive attributes of interest. We formulate it as a mutual information minimization problem and propose a generic end-to-end algorithmic framework to solve it. The key idea is to leverage a variational representation of mutual information, which considers the variational distribution between learning outcomes and sensitive attributes, as well as the density ratio between the variational and the original distributions. Our proposed framework is generalizable to many different settings, including other statistical notions of fairness, and could handle any type of learning task equipped with a gradient-based optimizer. Empirical evaluations in the fair classification task on three real-world datasets demonstrate that our proposed framework can effectively debias the classification results with minimal impact to the classification accuracy.

研究の動機と目的

• 単一の感受性属性に焦点を当てた既存のグループ公平性手法が、複数の属性の交差を考慮していないというギャップを埋める。
• 複数の感受性属性が形成するすべての文化的・文化的なグループに直接統計的同等性を最適化できる汎用的でエンドツーエンドの枠組みを開発する。
• 従来の手法が直面する代理制約の限界や性能の不安定性を克服するため、予測と感受性属性の結合ベクトルとの間の相互情報量を直接最小化する。
• 特に複雑な実世界の学習タスクにおいて、モデルの精度を犠牲にすることなく公平性を確保する。
• 今後の研究において、二値またはカテゴリカルな属性にとどまらず、年齢や収入のような連続値の感受性属性に対しても公平性手法の適用を拡張することを目的とする。

提案手法

• 感受性属性をすべて結合ベクトルとしてモデル化することで、交差的公平性のための細分化された文化的・文化的なグループを定義する。
• 公平性の目的関数として、モデルの予測と結合感受性属性ベクトルとの間の相互情報量の最小化を定式化する。
• 変分下界を用い、変分分布と密度比推定を組み合わせることで微分可能な最適化を可能にする。
• 勾配ベースの最適化を活用する深層ニューラルネットワークを用い、任意の微分可能な学習タスクに統合可能である。
• わずかな修正で、等しいオッズや等しい機会といった他の公平性の概念に対しても一般化可能である。
• MINE や infoNCE などのニューラル推定器を用いて、高次元空間における効率的な相互情報量推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 複数の感受性属性が形成する交差的文化的・文化的なグループにわたる統計的同等性を効果的に強制するため、相互情報量の最小化は有効であるか？
• RQ2 提案された変分相互情報量枠組みは、既存の公平性手法と比較して、公平性と精度のトレードオフにおいてどのように異なるか？
• RQ3 この枠組みは、さまざまな学習タスクや公平性定義にどの程度一般化可能か？
• RQ4 モデルがデータ分布の関係を完全に捉えていない場合、この手法は代理制約アプローチを上回ってバイアスを緩和できるか？
• RQ5 年齢や収入のような連続値の感受性属性を処理できるように、この枠組みを拡張できるか？

主な発見

• InfoFair枠組みは、分類タスクにおける交差的文化的・文化的なグループに顕著なバイアス低減を達成し、分類精度への影響を最小限に抑えた。
• 3つの実世界データセットを用いた実証的評価では、人種、性別、婚姻状態など複数の感受性属性にわたる一貫した公平性の向上が確認された。
• 特にモデル容量が限られていたり、データ分布が複雑な場合に、代理制約に依存する従来の手法よりも優れた性能を示した。
• モデルが真のデータ分布を完全に捉えていなくても、この枠組みは高い性能を維持しており、近似誤差に対して強い耐性があることが示された。
• 二値分類にとどまらず、推薦など他の学習タスクへの応用可能性も示しており、汎用性が高く、応用範囲が広がる可能性を示している。
• 予備的な結果から、この枠組みは連続値の感受性属性に対しても拡張可能である可能性が示唆されているが、これは今後の研究の未解決な方向性のままである。