[論文レビュー] Fair Algorithms for Hierarchical Agglomerative Clustering

Anshuman Chhabra, Prasant Mohapatra|arXiv (Cornell University)|May 7, 2020

HIV, Drug Use, Sexual Risk被引用数 4

ひとこと要約

本稿では、グループベースの公平性制約（例：代表性の上限、バランス）をクラスタリングプロセスに統合することで、公平性を保証する新しいアルゴリズムであるFair Hierarchical Agglomerative Clustering (FHAC) を提案する。この手法は、連結基準（単一、平均、完全）のすべてに一般化可能であり、複数の保護対象グループをサポートし、通常のHACや先行の最先端手法に比べて顕著に公平性を向上させつつ、競争可能な実行時間を達成する。

ABSTRACT

Hierarchical Agglomerative Clustering (HAC) algorithms are extensively utilized in modern data science, and seek to partition the dataset into clusters while generating a hierarchical relationship between the data samples. HAC algorithms are employed in many applications, such as biology, natural language processing, and recommender systems. Thus, it is imperative to ensure that these algorithms are fair -- even if the dataset contains biases against certain protected groups, the cluster outputs generated should not discriminate against samples from any of these groups. However, recent work in clustering fairness has mostly focused on center-based clustering algorithms, such as k-median and k-means clustering. In this paper, we propose fair algorithms for performing HAC that enforce fairness constraints 1) irrespective of the distance linkage criteria used, 2) generalize to any natural measures of clustering fairness for HAC, 3) work for multiple protected groups, and 4) have competitive running times to vanilla HAC. Through extensive experiments on multiple real-world UCI datasets, we show that our proposed algorithm finds fairer clusterings compared to vanilla HAC as well as other state-of-the-art fair clustering approaches.

研究の動機と目的

• 感受性の高い応用分野で広く使われているにもかかわらず、公平性に配慮した階層的凝集型クラスタリングアルゴリズムの不足に取り組む。
• トレーニングデータに社会的バイアスを含んでも、保護対象グループ（例：人種、性別）に対して差別的にならないようにクラスタリング結果を保証する。
• 複数の公平性概念（例：バランス、最大公平性コスト）と連結基準をサポートする汎用フレームワークを構築する。
• 公平性を向上させつつ、通常のHACと同等の計算効率を維持する。
• 実世界のUCIデータセットにおいて、既存の公平なHACアプローチに比べ、優れた公平性とクラスタリング品質を示す。

提案手法

• クラスタのマージ意思決定時に公平性制約を統合した、修正された凝集型クラスタリングプロセスを導入する。
• 最大公平性コスト（MFC）とバランスという2つの主要な指標を用いて公平性を定義し、クラスタ内のグループ代表性を制御する。
• 距離基準に緩和パラメータβを導入することで、わずかに距離最適でないがより公平なマージを許容する。
• マージ選択ロジックを公平性制約下で適応させることで、任意の連結基準（単一、平均、完全）に一般化可能にする。
• 距離に基づく近接性と公平性のずれの両方を最小化するハイブリッド目的関数を最適化する貪欲なマージ戦略を採用する。
• グループごとのクラスタメンバーシップを追跡し、各マージ段階で代表性の上限を強制することで、複数の保護対象グループをサポートする。

実験結果

リサーチクエスチョン

• RQ1 計算効率を損なわせることなく、階層的凝集型クラスタリングに公平性制約を効果的に統合できるか？
• RQ2 提案されたFHACアルゴリズムは、さまざまな連結基準（例：単一、平均、完全連結）に一般化可能であり、公平性を維持できるか？
• RQ3 実世界のデータセットにおいて、FHACの公平性パフォーマンスは、通常のHACおよび唯一の他の既存する公平なHAC手法（AFHAC）と比べてどうか？
• RQ4 公平性の強制によって、シルエットスコアなどの標準指標で測定されるクラスタリング品質がどの程度低下するか？
• RQ5 本稿で提示されたフレームワークは、先行研究で用いられた特定の指標にとどまらず、任意の公平性概念に一般化可能か？

主な発見

• FHACは、通常のHACや最先端のAFHAC手法に比べ、顕著に高い公平性を達成しており、クレジットカードおよびセンサスデータセットではMFC値が最大70％まで低下した。
• クレジットカードデータセットでは、FHACはバランススコア0.427を達成し、AFHAC-V（0.0）およびAFHAC-R（0.416）を上回り、より公平なグループ代表性を示した。
• バンクデータセットでは、FHACはバランススコア0.5567を達成し、AFHAC-V（0.9474）およびAFHAC-R（0.0）を上回り、指標にかかわらず一貫した公平性を示した。
• FHACは競争力あるクラスタリング品質を維持しており、シルエットスコアが通常のHACおよび他の公平なアルゴリズムと同等であったため、クラスタの凝集性や分離性の低下は最小限に抑えられた。
• アルゴリズムの漸近的時間計算量はO(fn³)であり、fが通常は小さいため、スケーラビリティに優れている。
• AFHAC-VおよびAFHAC-Rは任意の公平性概念に一般化できず、データセット間で一貫性のないパフォーマンスを示したのに対し、提案されたFHACフレームワークはその点で優れている。