[論文レビュー] Scalable Spectral Clustering with Group Fairness Constraints

Ji Wang, Ding Lu+2 more|arXiv (Cornell University)|Oct 28, 2022

Complex Network Analysis Techniques被引用数 4

ひとこと要約

この論文では、nullspace射影とホットェリングのデフレーションを統合することで、高価な密行列演算を疎行列・ベクトル積に置き換えることで、グループ公平性を強制するスケーラブルなスペクトルクラスタリングアルゴリズムであるs-FairSCを提案する。中程度のサイズのデータセットにおいて、FairSCに比べ12倍の高速化を達成しながら、公平性とスケーラビリティを同等に維持し、標準スペクトルクラスタリングと比較してわずかな計算オーバーヘッドにとどまる。

ABSTRACT

There are synergies of research interests and industrial efforts in modeling fairness and correcting algorithmic bias in machine learning. In this paper, we present a scalable algorithm for spectral clustering (SC) with group fairness constraints. Group fairness is also known as statistical parity where in each cluster, each protected group is represented with the same proportion as in the entirety. While FairSC algorithm (Kleindessner et al., 2019) is able to find the fairer clustering, it is compromised by high costs due to the kernels of computing nullspaces and the square roots of dense matrices explicitly. We present a new formulation of underlying spectral computation by incorporating nullspace projection and Hotelling's deflation such that the resulting algorithm, called s-FairSC, only involves the sparse matrix-vector products and is able to fully exploit the sparsity of the fair SC model. The experimental results on the modified stochastic block model demonstrate that s-FairSC is comparable with FairSC in recovering fair clustering. Meanwhile, it is sped up by a factor of 12 for moderate model sizes. s-FairSC is further demonstrated to be scalable in the sense that the computational costs of s-FairSC only increase marginally compared to the SC without fairness constraints.

研究の動機と目的

• FairSCが密行列の平方根とnullspace計算に依存するため、計算コストが高いため、その問題を解決すること。
• スペクトルクラスタリングにおけるグループ公平性を維持しつつ、FairSCのスケーラブルな代替手法を開発すること。
• 公平なSCモデルにおけるスパarsityを活用して、計算複雑度を低減すること。
• 新しいアルゴリズムがデータセットサイズに応じて効率的にスケーリングされ、標準スペクトルクラスタリングの性能に近づくようにすること。

提案手法

• 公平性制約を強制するために、nullspace射影を用いてFairSCのスペクトル計算を再定式化する。
• 明示的な行列分解を避けるために、ホットェリングのデフレーションを繰り返し適用して固有ベクトルを抽出する。
• データのスパarsityを活かすために、密行列演算を疎行列・ベクトル積に置き換える。
• 修正されたラプラシアン行列を介して、公平性制約をスペクトルクラスタリングの目的関数に統合する。
• 疎行列に対して効率的に動作する反復型ソルバー（例：パワー法）を用いる。
• 各クラスタにおけるグループの割合の比例性を維持することで、公平性を保証する。

実験結果

リサーチクエスチョン

• RQ1 グループ公平性を備えたスペクトルクラスタリングを、公平性の質を損なわず、計算的にスケーラブルにできるか？
• RQ2 データセットサイズの増大に伴い、公平なスペクトルクラスタリングの計算コストは、標準スペクトルクラスタリングと比べてどのように変化するか？
• RQ3 公平なスペクトルクラスタリングにおいて、疎行列演算が密行列演算に置き換え可能で、公平性が保持されるか？
• RQ4 新規手法はFairSCに比べて、速度とスケーラビリティの面でどの程度の性能向上を達成できるか？
• RQ5 提示された手法は、合成ネットワークおよび実世界のネットワークにおいて、FairSCと同等の公平性水準を維持できるか？

主な発見

• 中程度のデータセットサイズにおいて、s-FairSCは修正された確率的ブロックモデルでFairSCに比べ12倍の高速化を達成した。
• LastFMNetデータセットでは、k ≥ 5の条件下でs-FairSCはFairSCに比べ7倍速く、標準SCと同等の速度となった。
• バランス指標の平均値から、s-FairSCはFairSCとほぼ同一のクラスタリング公平性水準を達成しており、公平性の保持が確認された。
• s-FairSCは標準スペクトルクラスタリングと比較してわずかな計算コスト増加にとどまり、強力なスケーラビリティを示した。
• ランダムラプラシアンモデルにおいて、s-FairSCはノード数5,000〜10,000の範囲で、さまざまなkとhの条件下でもスケーラビリティを維持した。
• アルゴリズムはスパarsityを効果的に活用でき、大規模な公平クラスタリング応用に適していることがわかった。