[論文レビュー] Towards Fair Deep Clustering With Multi-State Protected Variables

Bokun Wang, Ian Davidson|arXiv (Cornell University)|Jan 29, 2019

Privacy-Preserving Technologies in Data参考文献 26被引用数 11

ひとこと要約

本論文は、多様な保護属性（例：人種、年齢、宗教）を持つ複数状態の保護属性に対して、クラスタ中心と学習された「フェアロイド」（保護群の中心）との間隔を等距離に保つことで、公平でバランスの取れたクラスタ割り当てを学習する深層学習フレームワーク、Deep Fair Clusteringを提案する。この手法は、クラスタリング精度の損失を最小限に抑えつつ顕著な公平性の向上を達成し、差別の的影響の原則に基づくクラスタリングにおけるグループ公平性のスケーラブルな解決策を提供する。

ABSTRACT

Fair clustering under the disparate impact doctrine requires that population of each protected group should be approximately equal in every cluster. Previous work investigated a difficult-to-scale pre-processing step for $k$-center and $k$-median style algorithms for the special case of this problem when the number of protected groups is two. In this work, we consider a more general and practical setting where there can be many protected groups. To this end, we propose Deep Fair Clustering, which learns a discriminative but fair cluster assignment function. The experimental results on three public datasets with different types of protected attribute show that our approach can steadily improve the degree of fairness while only having minor loss in terms of clustering quality.

研究の動機と目的

• 実世界のデータに一般的に見られる複数状態の保護属性（例：人種、年齢、宗教）に対する公平なクラスタリング手法の不足に応えること。
• 差別的影響の原則に基づくクラスタリングにおける公平性を定義し、保護群がクラスタにバランスよく反映されることを保証すること。
• クラスタリング品質と公平性を同時に最適化するスケーラブルな深層学習フレームワークを開発すること。
• 学習可能なハイパーパrameterを用いて、クラスタリング精度と公平性の間の柔軟なトレードオフを可能にすること。

提案手法

• 埋め込み空間における各保護群（例：人種、性別）のための学習済み中心（「フェアロイド」）を導入する。
• クラスタ中心がすべてのフェアロイドから等距離に位置するように公平性制約を課し、保護群のバランスの取れた表現を保証する。
• ソフトクラスタ割り当てヘッドと損失関数における公平性正則化項を備えた深層オートエンコーダを用いる。
• クラスタ割り当ての安定性を向上させるために、鋭化と滑らか化のターゲット（P と Ψ）を用いた自己訓練を適用する。
• ハイパーパrameter γ を用いて、クラスタリング再構成損失と公平性正則化項を統合した共同損失を最適化する。
• 訓練後のクラスタ中心とフェアロイドの空間的分布を分析するため、t-SNEの可視化を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層クラスタリングフレームワークは、二値分類を超えて複数の保護群にわたって公平性を効果的に強制できるか？
• RQ2 フェアロイドからの等距離制約が、クラスタリング品質とバランスにどのように影響するか？
• RQ3 モデルは、クラスタリング精度と公平性の間でどの程度柔軟なトレードオフを実現できるか？
• RQ4 本手法は大規模データセットにもスケーリング可能であり、ベースラインと比較して公平性の向上を維持できるか？

主な発見

• FWDを指標として測定したところ、HARデータセットでは10.3%、Adultでは7%、D&Sでは16.6%の公平性向上を達成し、クラスタリング精度の損失は最小限であった。
• Adultデータセットでは、ベースラインのDECモデルと比較して、最も不公平なクラスタのバランスが18%改善された。
• 公平性損失とクラスタリング損失は同時に最適化可能であり、訓練ステップが進むにつれて公平性が着実に向上した。
• クラスタ数が増加するにつれて、本手法はk-meansやDECと比較して一貫して優れた公平性（FWDが低い）を維持した。
• ハイパーパrameter γ を用いることで、公平性と精度のトレードオフを制御可能であり、γ が高くなるほどより公平だが精度はやや低下するクラスタが得られた。
• t-SNEの可視化により、訓練後、フェアロイドとクラスタ中心がより等距離に配置されていることが確認され、公平性メカニズムの妥当性が裏付けられた。