[論文レビュー] Ensuring Fairness Beyond the Training Data

Debmalya Mandal, Samuel Deng+3 more|arXiv (Cornell University)|Jan 1, 2020

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

本稿では、学習データの分布的摂動下でも公平性を保つ fair でロバストな分類器を学習するための min-max フレームワークを提案する。分布的ロバスト最適化問題を定式化し、オンライン学習を活用することで、あらゆるテスト時分布シフトにおいて公平性と高い精度を維持する分類器への確実な収束を達成する。

ABSTRACT

We initiate the study of fair classifiers that are robust to perturbations in the training distribution. Despite recent progress, the literature on fairness has largely ignored the design of fair and robust classifiers. In this work, we develop classifiers that are fair not only with respect to the training distribution, but also for a class of distributions that are weighted perturbations of the training samples. We formulate a min-max objective function whose goal is to minimize a distributionally robust training loss, and at the same time, find a classifier that is fair with respect to a class of distributions. We first reduce this problem to finding a fair classifier that is robust with respect to the class of distributions. Based on online learning algorithm, we develop an iterative algorithm that provably converges to such a fair and robust solution. Experiments on standard machine learning fairness datasets suggest that, compared to the state-of-the-art fair classifiers, our classifier retains fairness guarantees and test accuracy for a large class of perturbations on the test set. Furthermore, our experiments show that there is an inherent trade-off between fairness robustness and accuracy of such classifiers.

研究の動機と目的

• 学習データを超える分布的摂動下でも公平性を保つ分類器の設計により、公平性研究におけるギャップを埋める。
• 分布的ロバストな訓練損失を最小化するとともに、摂動された分布のクラス全体における公平性を保証する min-max 目的関数を定式化する。
• オンライン学習に基づく反復的アルゴリズムを開発し、公平でロバストな分類器への確実な収束を保証する。
• 分布シフト下での公平性ロバスト性とモデル精度のトレードオフを評価する。

提案手法

• 学習分布の重み付き摂動のクラスにおける最悪のリスクを最小化する min-max 最適化問題を定式化する。
• 指定された摂動された分布のクラスに対してロバストな公平な分類器を見つける問題に還元する。
• オンライン学習に基づくアルゴリズムを用いて、反復的に分類器と双対変数を更新し、最適解への収束を保証する。
• 内側の目的関数として公平な分類器を採用し、考慮されたクラス内のすべての摂動された分布下でも公平性を維持する制約を課す。
• オンライン学習理論からの収束保証を活用し、アルゴリズムが公平でロバストな解に到達することを保証する。
• 最適化に公平性指標を制約として組み込むことで、公平性制約を min-max フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 学習データの重み付き摂動である分布的シフト下でも、分類器が公平性を保てるか。
• RQ2 公平性とロバスト性を、1つの学習フレームワーク内で同時に最適化する方法は何か。
• RQ3 分布シフトの存在下で、公平性ロバスト性と予測精度の間にはどのようなトレードオフがあるか。
• RQ4 オンライン学習に基づく反復的アルゴリズムは、公平でロバストな分類器に確実に収束するか。

主な発見

• 提案手法は、広範なテスト時分布的摂動において公平性の保証を維持し、最先端の公平分類器よりもロバスト性に優れている。
• 分類器は顕著な分布シフト下でも高いテスト精度を達成しながら、公平性を維持している。
• 実験により、公平性ロバスト性とモデル精度の明確なトレードオフが示された。ロバスト性の向上に伴い、精度はわずかに低下した。
• オンライン学習に基づくアルゴリズムは、理論的収束保証によって検証されたように、公平でロバストな解に収束した。
• 本手法は、学習分布を超えた公平性の一般化を効果的に実現し、重み付き摂動下でも公平性を保証する。
• 実証的結果から、標準的な公平分類器は分布シフト下で公平性を維持できないのに対し、本手法はロバスト性を保っていることが示された。