[論文レビュー] Coresets for Clustering with Fairness Constraints

Lingxiao Huang, Shaofeng H.-C. Jiang+1 more|arXiv (Cornell University)|Jun 20, 2019

Face and Expression Recognition参考文献 31被引用数 21

ひとこと要約

本稿では、公平な $k$-メディアンクラスタリングのための最初に知られているコアセット構築法を提示し、複数の重複を許す感受性タイプを有する従来のコアセット手法を改善した。著者らは、新たな幾何的構築法を活用し、$k$-メディアンに対して $ε$-コアセットを $O(\Gamma k^2\varepsilon^{-d})$、$k$-ミーンズに対して $O(\Gamma k^3\varepsilon^{-d-1})$ のサイズで達成した。ここで $Γ$ は点が属し得る異なるグループ組み合わせの数であり、データセット全体のサイズとは無関係であるため、保証された近似性能を伴うスケーラブルな公平クラスタリングが可能になる。

ABSTRACT

In a recent work, [19] studied the following "fair" variants of classical clustering problems such as $k$-means and $k$-median: given a set of $n$ data points in $\mathbb{R}^d$ and a binary type associated to each data point, the goal is to cluster the points while ensuring that the proportion of each type in each cluster is roughly the same as its underlying proportion. Subsequent work has focused on either extending this setting to when each data point has multiple, non-disjoint sensitive types such as race and gender [6], or to address the problem that the clustering algorithms in the above work do not scale well. The main contribution of this paper is an approach to clustering with fairness constraints that involve multiple, non-disjoint types, that is also scalable. Our approach is based on novel constructions of coresets: for the $k$-median objective, we construct an $\varepsilon$-coreset of size $O(Γk^2 \varepsilon^{-d})$ where $Γ$ is the number of distinct collections of groups that a point may belong to, and for the $k$-means objective, we show how to construct an $\varepsilon$-coreset of size $O(Γk^3\varepsilon^{-d-1})$. The former result is the first known coreset construction for the fair clustering problem with the $k$-median objective, and the latter result removes the dependence on the size of the full dataset as in [39] and generalizes it to multiple, non-disjoint types. Plugging our coresets into existing algorithms for fair clustering such as [5] results in the fastest algorithms for several cases. Empirically, we assess our approach over the extbf{Adult}, extbf{Bank}, extbf{Diabetes} and extbf{Athlete} dataset, and show that the coreset sizes are much smaller than the full dataset. We also achieve a speed-up to recent fair clustering algorithms [5,6] by incorporating our coreset construction.

研究の動機と目的

• 大規模データセットに対してスケーリングが著しく悪い既存の公平クラスタリングアルゴリズムのスケーラビリティの制限を解消すること。
• 人種や性別といった複数の重複を許す感受性タイプを有する設定への公平クラスタリングの拡張。
• 全データセットサイズ $n$ に依存しないコアセットの構築を、公平な $k$-メディアンおよび $k$-ミーンズクラスタリングに対して行うこと。
• コアセットが公平性制約を保持しつつ、小さなサイズと低い近似誤差を維持すること。
• 全データセットの代理としてのコアセットを用いることで、公平クラスタリングの計算を高速化すること。

提案手法

• 複数の感受性タイプにわたる公平性制約を尊重する幾何的サンプリング技術を用いた $\varepsilon$-コアセットの構築。
• $\Gamma$ を、データポイントが属し得る異なるグループの組み合わせの数と定義し、コアセットサイズを $n$ とは独立に制限する。
• 直線ケース解析に基づく $k$-メディアンの新しいコアセット構築法を提案し、幾何的分割を用いて高次元に拡張。
• 2 階モーメント近似を組み込み、グループごとの重み付けを用いて非互いに排他的でないタイプを扱うことで、$k$-ミーンズへのアプローチを拡張。
• 集中限界と感受性サンプリングを用いた正しさの証明により、公平クラスタリング目的関数の $(1\pm\varepsilon)$-近似を保証。
• 実装最適化により、実際には $\varepsilon^{-d}$ 要因を回避し、より小さく高速なコアセット生成を実現。

実験結果

リサーチクエスチョン

• RQ1 全データセットサイズ $n$ に依存しない $\varepsilon$-コアセットを、公平な $k$-メディアンクラスタリングに対して構築可能か？
• RQ2 既存の公平な $k$-ミーンズクラスタリングのコアセット構築法を、複数の重複を許す感受性タイプに対応可能か？
• RQ3 コアセットが公平性制約を維持しつつ、サイズと近似誤差を最小限に抑えるにはどうすればよいか？
• RQ4 コアセットは、FairTree や FairLP といった公平クラスタリングアルゴリズムの高速化にどの程度効果を発揮するか？
• RQ5 複数の公平性制約やクラスタリングタスクに再利用可能なほど、コアセット構築が効率的に行えるか？

主な発見

• 公平な $k$-メディアンのコアセットは、その種類で初めて知られたものであり、サイズ $O(\Gamma k^2\varepsilon^{-d})$ を達成した。
• 公平な $k$-ミーンズでは、$\log n$ 依存性を排除し、複数の非互いに排他的なタイプに一般化したことで、先行研究を改善したコアセットサイズ $O(\Gamma k^3\varepsilon^{-d-1})$ を達成した。
• Adult、Bank、Diabetes、Athlete データセットにおいて、コアセットサイズは全データセットサイズの 3% 未満で、5% の実験的誤差を達成した。
• コアセット構築時間も含めて、公平クラスタリング目的関数の評価が 200 倍高速化された。
• FairTree および FairLP への統合により、それぞれ 5x–15x および 15x–30x の高速化が達成され、全データセットで FairLP が 1 秒未満で実行された。
• コアセット上で計算されたクラスタリング目的関数は、全データセットの目的関数の 0.6–1.2 倍の範囲内に収まり、Census1990 のみが 35% にまで上昇したが、これはより良い近似解が小さいデータで得られたためである。