[論文レビュー] On preserving non-discrimination when combining expert advice

Avrim Blum, Suriya Gunasekar+2 more|arXiv (Cornell University)|Oct 28, 2018

Ethics and Social Impacts of AI参考文献 37被引用数 5

ひとこと要約

この論文は、公平性を損なわずにオンライン学習設定において個別に非差別的である予測子を組み合わせる方法を調査し、等しいオッズがノーレグレット学習と根本的になじまないことを示している。一方で、グループ別乗法的重みを用いることで等しい誤差率を維持できる。驚くべきことに、適応的設定におけるより強いレグレット保証は、予測子が個別に公平であっても公平性を損なう。

ABSTRACT

We study the interplay between sequential decision making and avoiding discrimination against protected groups, when examples arrive online and do not follow distributional assumptions. We consider the most basic extension of classical online learning: "Given a class of predictors that are individually non-discriminatory with respect to a particular metric, how can we combine them to perform as well as the best predictor, while preserving non-discrimination?" Surprisingly we show that this task is unachievable for the prevalent notion of "equalized odds" that requires equal false negative rates and equal false positive rates across groups. On the positive side, for another notion of non-discrimination, "equalized error rates", we show that running separate instances of the classical multiplicative weights algorithm for each group achieves this guarantee. Interestingly, even for this notion, we show that algorithms with stronger performance guarantees than multiplicative weights cannot preserve non-discrimination.

研究の動機と目的

• オンライン学習における適応性と保護群に対する非差別性の相互作用を研究すること。
• 個別に非差別的な予測子を組み合わせることで、ノーレグレット性能を達成しながら公平性を維持できるかどうかを特定すること。
• 非i.i.d.なオンライン設定における、等しいオッズと等しい誤差率といった異なる公平性定義の実現可能性を評価すること。
• 適応的意思決定と環境の変化が生じる状況下でも、公平性を維持できる条件を同定すること。
• オンライン学習アルゴリズムにおけるパフォーマンス保証と公平性のトレードオフを探索すること。

提案手法

• 著者らは、公平性指標に関して個別に非差別的な予測子のクラスを用いたオンライン学習を分析する。
• 乗法的重みアルゴリズムを用い、グループごとに別々のインスタンスを走らせる。これにより、等しい誤差率の下で公平性を維持できる。
• 等しいオッズの場合は、反例を構築することで、ノーレグレットアルゴリズムが、2つの予測子と2つのグループですら公平性を必ず損なうことを示す。
• 「シフトする比較基準」に対する近似レグレットの概念を導入し、$\operatorname{\mathbb{E}}[\text{ApxReg}_{\epsilon,T}(f^\star)] = O(\frac{K(f^\star) \cdot \ln(dT)}{\epsilon})$ と定式化する。ここで $K(f^\star)$ は最適エキスパート系列におけるスイッチの回数を表す。
• 任意のアルゴリズムが $K(f^\star) = 2$ の場合に近似レグレットが消えるようにすれば、等しい誤差率の下で公平性を維持できないことを証明する。これは、予測子が個別に公平であっても同様に成り立つ。
• 証明では3段階の敵対的インスタンスを用いる：段階IではグループAでバランスの取れた損失、段階IIとIIIではグループBでエキスパートの連続的スイッチが発生。これによりグループBの誤差率が $\nicefrac{1}{2} - \alpha$ 未満に低下する。

実験結果

リサーチクエスチョン

• RQ1 個別に非差別的な予測子をオンライン学習で組み合わせることで、公平性を維持し、ノーレグレット性能を達成できるか？
• RQ2 非i.i.d.なオンライン設定において、等しいオッズはノーレグレット学習と両立可能か？
• RQ3 等しい誤差率は、乗法的重みのような標準的なオンライン学習アルゴリズムで維持可能か？
• RQ4 適応的オンライン学習において、強いパフォーマンス保証（例：低近似レグレット）と公平性のトレードオフは何か？
• RQ5 非i.i.d.な逐次意思決定環境において、実装可能で頑健な公平性定義は存在するか？

主な発見

• 2つの予測子と2つのグループですら、ノーレグレット性能を達成する間、等しいオッズ（グループ間で偽陽性率と偽陰性率が等しいこと）を維持することは不可能である。
• 等しい誤差率の下では、グループごとに別々の乗法的重みインスタンスを走らせることで、公平性を維持し、ノーレグレット性能を達成できる。
• 最適エキスパート系列のスイッチ回数 $K(f^\star) = 2$ の場合に近似レグレットが消えるようにする任意のアルゴリズムは、等しい誤差率の下で公平性を維持できない。これは予測子が個別に公平であっても同様に成り立つ。
• あるグループの誤差率は、任意の $\alpha < \nicefrac{1}{2}$ に対して $\nicefrac{1}{2} - \alpha$ 未満にまで引き下げられ、他方のグループは少なくとも $\nicefrac{1}{2}$ を維持する。これは公平性を損なう。
• 最適エキスパート系列におけるスイッチ回数が最小であっても、この不可能性結果は成り立つ。これは、強いパフォーマンス保証が、等しい誤差率の下で公平性と本質的に矛盾することを示唆する。
• 結果から、強いレグレット保証を持つアルゴリズムは、組み合わせにおいて公平性と両立できないことが示唆され、すなわち「あまりに良い」パフォーマンスがオンライン設定における公平性を損なう可能性がある。