[論文レビュー] Stable and Fair Classification

Lingxiao Huang, Nisheeth K. Vishnoi|arXiv (Cornell University)|Feb 21, 2019

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、既存の公平分類アルゴリズムに安定性を重視した正則化項を導入することで、機械学習分類器における公平性と安定性を向上させる、新しい最適化フレームワークを提案する。この手法は理論的保証のもとで一様安定性を確保し、実験的にも精度をわずか1.5%低下させるだけで安定性を最大50%まで向上させ、公平性と安定性の両方を同時に最適化する最初のフレームワークである。

ABSTRACT

Fair classification has been a topic of intense study in machine learning, and several algorithms have been proposed towards this important task. However, in a recent study, Friedler et al. observed that fair classification algorithms may not be stable with respect to variations in the training dataset -- a crucial consideration in several real-world applications. Motivated by their work, we study the problem of designing classification algorithms that are both fair and stable. We propose an extended framework based on fair classification algorithms that are formulated as optimization problems, by introducing a stability-focused regularization term. Theoretically, we prove a stability guarantee, that was lacking in fair classification algorithms, and also provide an accuracy guarantee for our extended framework. Our accuracy guarantee can be used to inform the selection of the regularization parameter in our framework. To the best of our knowledge, this is the first work that combines stability and fairness in automated decision-making tasks. We assess the benefits of our approach empirically by extending several fair classification algorithms that are shown to achieve the best balance between fairness and accuracy over the Adult dataset. Our empirical results show that our framework indeed improves the stability at only a slight sacrifice in accuracy.

研究の動機と目的

• 実世界の導入において訓練データの摂動に対して不安定である既存の公平分類アルゴリズムの問題に対処すること。
• 自動意思決定システムにおける公平性と一様安定性を同時に保証する統一フレームワークの開発。
• 拡張された公平分類フレームワークにおける安定性および一般化に関する理論的保証の提供。
• 正則化項が精度や公平性を著しく損なわずに安定性を向上させることを実験的に検証すること。
• 理論的精度および安定性の境界を用いて、実用的応用における正則化パラメータの選定を支援すること。

提案手法

• 既存の公平分類アルゴリズムを最適化問題として定式化し、目的関数に安定性を重視した正則化項を追加する。
• 一様安定性をコアな指標として用い、1つのサンプルが異なる2つのデータセットで学習された分類器間のリスクのl∞-距離の最大値として定義する。
• 一様安定性理論にインspiredされた正則化を適用し、損失関数にやや弱い仮定を置くと、理論的分析により Õ(1/(λN)) の安定性保証が得られることを示す。
• 安定性と期待リスクの関係を示す一般化境界を導出する。期待された経験的リスクと真のリスクの差が Õ(1/(λN)) であることを示す。
• KAAS、ZVRG、GYFに基づく分類器を用いて、Adultデータセット上で正則化パラメータλを変化させながらフレームワークを実験的に評価する。
• 50回のランダムな訓練・テスト分割における公平性指標γの標準偏差を用いて安定性を測定し、精度と公平性のトレードオフを報告する。

実験結果

リサーチクエスチョン

• RQ1 精度や公平性を著しく低下させることなく、公平分類アルゴリズムの一様安定性を向上させる正則化項を設計できるか？
• RQ2 拡張されたフレームワークに対して得られる理論的安定性保証は何か？また、正則化パラメータλおよび訓練データサイズNにどのように依存するか？
• RQ3 実際の応用において、提案フレームワークは精度、公平性、安定性のトレードオフにどのように影響を与えるか？
• RQ4 理論的精度境界は、実用的応用における正則化パラメータの選定にどのように役立てるか？
• RQ5 異なる公平性指標および感受性属性に対して、このフレームワークは一貫して安定性を向上させるか？

主な発見

• 提案フレームワークは理論的安定性保証 Õ(1/(λN)) を達成しており、線形モデルではよりタイトな境界 Õ(1/√N) が得られる。
• 正則化による経験的リスクの増加は Õ(1/√N) で有界であり、正則化パラメータλの適切な選定が可能になる。
• 実験的に、公平性指標γの標準偏差はλ=0のとき4.1%から正則化を適用した際の約1%に低下し、安定性の向上が示された。
• すべてのテストされたアルゴリズム（KAAS-St、ZVRG-St、GYF-St）において、正則化導入後、安定性指標（stab）が最大50%まで低下した。
• 性別属性におけるZVRG-Stでは、λ=0.03がλ=0.05よりも精度・公平性・安定性のトレードオフにおいて優れており、非単調な挙動が示され、慎重なハイパーパramータチューニングが求められることがわかった。
• フレームワークはベースライン手法と同等またはそれ以上の公平性を維持しており、同じλにおいてKAAS-StおよびGYF-Stのγ値はZVRG-Stよりも常に低かった。