[論文レビュー] How to be Fair and Diverse?

L. Elisa Celis, Amit Deshpande+2 more|arXiv (Cornell University)|Oct 23, 2016

Adversarial Robustness in Machine Learning参考文献 14被引用数 39

ひとこと要約

本稿では、幾何的多様性（決定的ポイントプロセスを介して）と組合せ的公平性（感受性属性制約を介して）を同時に最適化する、P-DPPと呼ばれる新しいアルゴリズムフレームワークを提案する。これにより、特徴空間を代表するだけでなく、保護される属性にわたってもバランスの取れたサブサンプルが得られる。実験の結果、P-DPPは幾何的多様性の著しい損失を伴わず、データバイアス下でも両方の目的を効果的にバランスさせることができる。

ABSTRACT

Due to the recent cases of algorithmic bias in data-driven decision-making, machine learning methods are being put under the microscope in order to understand the root cause of these biases and how to correct them. Here, we consider a basic algorithmic task that is central in machine learning: subsampling from a large data set. Subsamples are used both as an end-goal in data summarization (where fairness could either be a legal, political or moral requirement) and to train algorithms (where biases in the samples are often a source of bias in the resulting model). Consequently, there is a growing effort to modify either the subsampling methods or the algorithms themselves in order to ensure fairness. However, in doing so, a question that seems to be overlooked is whether it is possible to produce fair subsamples that are also adequately representative of the feature space of the data set - an important and classic requirement in machine learning. Can diversity and fairness be simultaneously ensured? We start by noting that, in some applications, guaranteeing one does not necessarily guarantee the other, and a new approach is required. Subsequently, we present an algorithmic framework which allows us to produce both fair and diverse samples. Our experimental results on an image summarization task show marked improvements in fairness without compromising feature diversity by much, giving us the best of both the worlds.

研究の動機と目的

• 公平性または多様性のどちらか一方に最適化する既存手法のギャップを是正すること。
• 感受性属性にわたる公平性を保証しながら特徴空間内の多様性を維持するスケーラブルなアルゴリズムの開発。
• 公平性と多様性が、顕著なトレードオフを伴わずにデータサブサンプリングにおいて共存可能かどうかの評価。
• 隠れたまたはバイアスがかかる潜在的なデータ分布下でも、提案手法のロバストネスの証明。

提案手法

• P-DPPを提案する。これはk-DPPの一般化であり、感受性属性ごとの正確なグループサイズ制約を課しつつも、幾何的多様性を保持する。
• サンプリング確率を、特徴ベクトルが形成する平行六面体の平方体積に比例するように定義し、事前に定義された各感受性属性ごとのグループサイズを満たす部分集合に制限する。
• k-DPP用の効率的サンプリングアルゴリズムを活用し、一定数の互いに素な部分集合（p = O(1)）を処理できるように拡張することで、多項式時間の実行可能性を保証する。
• 感受性属性グループごとの固定カウント（|S ∩ Xi| = ki）を介して公平性制約を統合し、バランスの取れた表現を保証する。
• 組合せ的多様性（D(⋅)）の測定にシャノンエントロピーを用い、幾何的多様性（G(⋅)）の代理指標としてグラム行列の行列式を用いる。
• 性別や職業などのラベル付き感受性属性を備えた画像データセットに、均一サンプリング、k-DPP、k_i-DPPと比較してフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 データサブサンプリングにおいて、公平性と幾何的多様性を同時に達成可能か、それとも本質的なトレードオフが存在するか？
• RQ2 グループレベルの公平性制約を課すことで、選択されたサンプルの幾何的多様性にどのような影響が生じるか？
• RQ3 隠れたまたはバイアスがかかるデータ分布下で、提案手法P-DPPの性能は、ベースライン手法（例：均一サンプリング、k-DPP、k_i-DPP）と比べてどうなるか？
• RQ4 感受性属性が完全に観測されない場合やデータが不均衡な場合でも、この手法はロバストに機能するか？

主な発見

• P-DPPは、すべての実験でk-DPP、均一サンプリング、k_i-DPPよりも公平性（D(⋅)）で顕著に優れており、対応t検定でp < 0.05を達成している。
• P-DPPはk-DPPと同等の幾何的多様性（G(⋅)）を維持しており、均一サンプリングよりも顕著に高い水準を保っている。特徴空間カバレッジに顕著な劣化は見られない。
• 隠れた属性が存在する状況でも、P-DPPは優れた公平性を維持しながら高い幾何的多様性を確保しており、部分的な制約しか課せないk_i-DPPと比べて、公平性が著しく劣化している。
• 極度にバイアスがかかるデータセット（男性画像が10–50％）下でも、P-DPPは高い公平性（D(⋅)）を維持するが、k-DPPは公平性が急激に低下しており、P-DPPのデータバイアスへのロバストネスが示された。
• 小さいグループのサイズが大きくなるに従い、P-DPPとk-DPPの幾何的多様性の差が縮小するため、データカバレッジが十分に整えばトレードオフも小さくなる傾向が示唆される。
• 全体として、P-DPPは公平性と多様性の両方を最適化する上で最良のバランスを達成しており、両目的を同時に効果的に最適化可能であることを示している。