[論文レビュー] A Stochastic Alternating Balance $k$-Means Algorithm for Fair Clustering

Suyun Liu, L. N. Vicente|arXiv (Cornell University)|May 29, 2021

Privacy-Preserving Technologies in Data参考文献 32被引用数 4

ひとこと要約

本稿では、クラスタリングコストと人種的公平性の両立を図るために、ミニバッチ $k$-means更新とグループスワップ更新を交互に実行する確率的交互バランス $k$-means（SAfairKM）アルゴリズムを提案する。この手法は、合成データおよび実データ上で高品質で均等に分散したパレートフロントを効率的に生成し、罰則を用いるアプローチに比べて計算効率と頑健性に優れる。

ABSTRACT

In the application of data clustering to human-centric decision-making systems, such as loan applications and advertisement recommendations, the clustering outcome might discriminate against people across different demographic groups, leading to unfairness. A natural conflict occurs between the cost of clustering (in terms of distance to cluster centers) and the balance representation of all demographic groups across the clusters, leading to a bi-objective optimization problem that is nonconvex and nonsmooth. To determine the complete trade-off between these two competing goals, we design a novel stochastic alternating balance fair $k$-means (SAfairKM) algorithm, which consists of alternating classical mini-batch $k$-means updates and group swap updates. The number of $k$-means updates and the number of swap updates essentially parameterize the weight put on optimizing each objective function. Our numerical experiments show that the proposed SAfairKM algorithm is robust and computationally efficient in constructing well-spread and high-quality Pareto fronts both on synthetic and real datasets.

研究の動機と目的

• クラスタリングコストの最小化と、クラスタ内における人種的グループのバランスのとれた代表性を両立させるという、本質的な矛盾に対処すること。
• 公平クラスタリングにおいて、均等に分散され、高品質なパレートフロントを生成する、頑健で計算的に効率的な手法を開発すること。
• 罰則係数に依存せずに、クラスタリング品質と公平性のトレードオフを柔軟に制御できるインプロセスフレームワークを提供すること。
• 従来の罰則付き公平性アプローチを改善するため、公平性を保持しながらクラスタリングコストを最適化する交互更新を用いること。
• Adult や Bank のような実世界のデータセットにおいて、複数の保護属性を有する複雑なグループ分布を持つケースに対してもスケーラブルな公平クラスタリングを可能にすること。

提案手法

• アルゴリズムは、クラスタリングコストを最小化するための古典的なミニバッチ $k$-means更新と、クラスタ間でのグループのバランスを改善するためのグループスワップ更新を交互に実行する。
• $k$-means更新とスワップ更新の回数が、クラスタリングコストと公平性の間のトレードオフを制御するパラメータとして機能する。
• 異なる初期化と更新ペアから得られる複数の並列実行結果を接続するリスト更新機構を導入し、局所最適解からの脱出と頑健性の向上を図る。
• 本手法は、クラスタリングコストと人種的代表性の両方を明示的にバランスさせる二目的最適化フレームワークとして設計されている。
• 従来の手法とは異なり、KLダイバージェンスの罰則を用いるのではなく、構造化されたスワップ操作によって直接的に公平性を強制することで、罰則係数の使用を回避する。
• 本手法は、Adult や Bank を含む合成データおよび実世界のデータセットに適用可能であり、クラスタ数や人種的グループ比の変動にも柔軟に対応できる。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングコストの最小化と、人種的グループの公平な代表性の両立を図るクラスタリングアルゴリズムは、どのように実現できるか？
• RQ2 $k$-means更新とグループスワップの交互更新によって、罰則法に比べてより高品質で均等に分散したパレートフロントが得られるか？
• RQ3 本手法は、多様なデータ分布や人種的グループの不均衡に起因する状況下でも、計算効率と頑健性において優れた性能を示すか？
• RQ4 $k$-means更新とスワップ更新の回数を変化させた場合、パレートフロントの品質と均等性にどのような影響が生じるか？
• RQ5 本手法は、複数の保護属性と複雑なグループ分布を持つ実世界のデータセットに対しても、効果的にスケーラブルに適用可能か？

主な発見

• 合成データの4つのデータセットすべてにおいて、SAfairKMはグループの不均衡に関わらず、罰則付きのVfairKMに比べてより広がりがあり、高品質なパレートフロントを生成した。
• 非支配解1つあたりの平均CPU時間は、Syn_equal_ds1で0.80秒（VfairKMは1.06秒）、Bank（K=10）で59.12秒（VfairKMは76.29秒）であり、著しく短縮された。
• Adultデータセット（K=10）において、SAfairKMは1解あたり18.52秒の平均CPU時間を記録したのに対し、VfairKMは40.43秒であった。これは、計算効率の優位性を示している。
• リスト更新機構により、複数の実行結果を統合することで、初期値への感受性が低下し、高品質な解への収束性が向上した。
• Bankデータセット（K=5）では、SAfairKMは1解あたり11.97秒で処理が完了したのに対し、VfairKMは50.31秒を要した。これは、大規模データセットにおいてもスケーラビリティに優れていることを示している。
• |V₁|:|V₂|=1:3のような不均衡なグループサイズを持つデータセットでも、本手法は強固な性能を維持した。これは、人種的不均衡下でも頑健であることを確認した。