[論文レビュー] Scalable Fair Clustering

Artūrs Bačkurs, Piotr Indyk+4 more|arXiv (Cornell University)|Feb 10, 2019

Facility Location and Emergency Management被引用数 58

ひとこと要約

この論文は、gamma-HST埋め込みを介してスケーラブルな(r,b)-フェアレット分解を最初に計算し、次にフェアレットを統合してkクラスタへとマージすることで、ほぼ線形時間の(r,b)-フェアk-メディアンクラスタリングを実現する。

ABSTRACT

We study the fair variant of the classic $k$-median problem introduced by Chierichetti et al. [2017]. In the standard $k$-median problem, given an input pointset $P$, the goal is to find $k$ centers $C$ and assign each input point to one of the centers in $C$ such that the average distance of points to their cluster center is minimized. In the fair variant of $k$-median, the points are colored, and the goal is to minimize the same average distance objective while ensuring that all clusters have an "approximately equal" number of points of each color. Chierichetti et al. proposed a two-phase algorithm for fair $k$-clustering. In the first step, the pointset is partitioned into subsets called fairlets that satisfy the fairness requirement and approximately preserve the $k$-median objective. In the second step, fairlets are merged into $k$ clusters by one of the existing $k$-median algorithms. The running time of this algorithm is dominated by the first step, which takes super-quadratic time. In this paper, we present a practical approximate fairlet decomposition algorithm that runs in nearly linear time. Our algorithm additionally allows for finer control over the balance of resulting clusters than the original work. We complement our theoretical bounds with empirical evaluation.

研究の動機と目的

• フェアk-メディアンクラスタリングにおけるスケーラビリティのギャップを、ほぼ線形時間のフェアレット分解を設計することで埋める。
• 効率的なフェアレット構築を可能にする埋め込みベースのアプローチ（gamma-HST）を開発する。
• 理論的保証を提供し、近似因子と標準データセット上での経験的スケーラビリティを示す。
• これまでの研究を超えて、クラスタのバランス制御を(r,b)で細かく可能にする。

提案手法

• 入力を乱択グリッドベースの構成を用いてgamma-HSTへ埋め込む。
• HST上で(r,b)-フェアレット分解を計算し、コストゆらぎをO(d*(r^8+b^8)*log n)で近似するフェアk-メディアン目的を得る。
• トップダウンの木分割アプローチを用いてヘビーポイントと不均衡ポイントを最小化し、ほぼ線形時間のフェアレット分解を得る（MinHeavyPoints, UnbalancedPoints, NonSaturFairlet, ExtraPoint）。
• 各フェアレットをセンターへ変換して中心を再現したk個のセンターでベータ近似のk-メディアンを実行することにより、フェアレットを統合して(r,b)-フェアk-メディアンの(alpha + (r+b)*beta)近似を得る。
• 理論的保証：最適解のオーダーでO(d * n * log n + T(n,d,k))の時間、コストは最適解のオーダーに対してO_r,b(d*log n + alpha)の範囲、HST埋め込みを用いると全体の実行時間がほぼ線形になる。

実験結果

リサーチクエスチョン

• RQ1 Euclidean空間での(r,b)-フェアk-メディアンクラスタリングを、フェアレット計算の二乗時間を避けて実現できるか。
• RQ2 埋め込みベースの方法（gamma-HST）がフェアレット分解をほぼ線形で可能にしつつ、フェアネス制約を保てるか。
• RQ3 フェアクラスタリングのスケーラブルなフェアレットベースパイプラインの近似保証は何か。

主な発見

• 提案手法は、コストが最適なフェアコストのO_r,b(d*log n + alpha)の範囲に収まる(r,b)-フェアk-メディアンクラスタリングを実現する。
• フェアレット分解フェーズはほぼ線形時間で動作し、埋め込みとHST上の線形時間処理に支配される。
• 実験結果は、前著（Chierichetti et al. 2017）と比較してクラスタリング品質が同程度であり、大規模データセットでほぼ線形のスケーラビリティを示す。
• アルゴリズムは巨大データセットへスケールし、元のフェアレット手法よりもクラスタバランスの細かな制御を可能にする。
• 実験的に、フェアレット計算の大幅なスピードアップを示しつつ、目的値は競争力を維持する。