[論文レビュー] Noise-tolerant fair classification

Alexandre Louis Lamy, Ziyuan Zhong+2 more|arXiv (Cornell University)|Jan 1, 2019

Ethics and Social Impacts of AI被引用数 17

ひとこと要約

本論文は、自己申告された人種や性別など、信頼性の低い感受性特徴がある状況でも公平性を維持できるノイズ耐性のある公平分類フレームワークを提案する。平均差スコアにおける単純な恒等式を活用することで、ノイズ率推定手法を用いて公平性の許容度を調整し、感受性特徴が遮断されたり誤って報告されたりしても、有効な公平学習を可能にする。

ABSTRACT

Fairness-aware learning involves designing algorithms that do not discriminate with respect to some sensitive feature (e.g., race or gender). Existing work on the problem operates under the assumption that the sensitive feature available in one's training sample is perfectly reliable. This assumption may be violated in many real-world cases: for example, respondents to a survey may choose to conceal or obfuscate their group identity out of fear of potential discrimination. This poses the question of whether one can still learn fair classifiers given noisy sensitive features. In this paper, we answer the question in the affirmative: we show that if one measures fairness using the mean-difference score, and sensitive features are subject to noise from the mutually contaminated learning model, then owing to a simple identity we only need to change the desired fairness-tolerance. The requisite tolerance can be estimated by leveraging existing noise-rate estimators from the label noise literature. We finally show that our procedure is empirically effective on two case-studies involving sensitive feature censoring.

研究の動機と目的

• 感受性特徴がしばしば不正確に報告されたり隠されたりする公平性認識学習の分野におけるギャップに対処すること。
• 感受性属性がノイズを含む場合でも、公平分類が可能かどうかを調査すること。
• 感受性特徴データが信頼性が低い場合でも、公平性の保証を維持する手法を開発すること。
• 感受性特徴の遮断が生じる現実世界の状況に対して、実用的で経験的に有効な解決策を提供すること。

提案手法

• 公平性指標として平均差スコアを用い、ノイズ耐性を可能にする数学的恒等式を可能にする。
• 単純な恒等式を適用して公平性制約を変換し、ノイズのある特徴を是正するのではなく、公平性の許容度しきい値を調整する負担を移す。
• 文献に登場する既存のラベルノイズ推定技術を用いて、感受性特徴のノイズ率を推定する。
• 推定されたノイズ率に基づいて、ノイズ入力下でも公平性を維持できるように、望ましい公平性の許容度を調整する。
• 清浄な感受性特徴ラベルが不要な状態で、既存のノイズ率推定器を用いて公平性制約をキャリブレーションする。
• 感受性特徴が遮断された2つの現実世界の事例研究において、アプローチの有効性を検証し、経験的に強い耐性を示した。

実験結果

リサーチクエスチョン

• RQ1 感受性特徴にノイズや遮断がある場合でも、公平分類を達成できるか？
• RQ2 感受性特徴のノイズが機械学習における公平性保証にどのように影響するか？
• RQ3 ノイズを含む感受性属性下でも公平性を維持するためには、公平性制約にどのような修正が必要か？
• RQ4 信頼性の低い感受性特徴がある状況で、ノイズ率推定技術を公平性向上に適応できるか？

主な発見

• 提案手法は、特徴の是正ではなく、公平性許容度しきい値の調整によって、ノイズのある感受性特徴下でも公平性を維持する。
• ノイズ耐性を可能にする平均差スコアにおける数学的恒等式に依存しており、再訓練なしにノイズ耐性を実現できる。
• ラベルノイズ分野のノイズ率推定技術が、公平性制約のキャリブレーションに成功裏に再利用された。
• 経験的評価により、感受性特徴の遮断が生じる2つの事例で、本手法が有効であることが示された。
• 本手法は、清浄な感受性特徴がある理想状態と同等の公平分類パフォーマンスを達成した。
• 本フレームワークは、感受性特徴ノイズのさまざまなレベルに強く、現実世界の設定における実用的妥当性を示した。