[論文レビュー] Dynamic fairness - Breaking vicious cycles in automatic decision making

Benjamin Paaßen, Astrid Bunge+3 more|arXiv (Cornell University)|Feb 1, 2019

Ethics and Social Impacts of AI参考文献 10被引用数 9

ひとこと要約

この論文は、自動意思決定システムがフィードバックループを通じて長期間にわたり不平等を助長する仕組みをモデル化する動的公平性フレームワークを導入している。これは、分類器が標準的な定義に基づいて完全に正確かつ公平であっても同様に成立する。本研究では、悪循環を防ぐために唯一、デモグラフィックパリティが安定的かつ公平な結果を保証することを示している。

ABSTRACT

In recent years, machine learning techniques have been increasingly applied in sensitive decision making processes, raising fairness concerns. Past research has shown that machine learning may reproduce and even exacerbate human bias due to biased training data or flawed model assumptions, and thus may lead to discriminatory actions. To counteract such biased models, researchers have proposed multiple mathematical definitions of fairness according to which classifiers can be optimized. However, it has also been shown that the outcomes generated by some fairness notions may be unsatisfactory. In this contribution, we add to this research by considering decision making processes in time. We establish a theoretic model in which even perfectly accurate classifiers which adhere to almost all common fairness definitions lead to stable long-term inequalities due to vicious cycles. Only demographic parity, which enforces equal rates of positive decisions across groups, avoids these effects and establishes a virtuous cycle, which leads to perfectly accurate and fair classification in the long term.

研究の動機と目的

• フィードバックループが自動意思決定システムにどのようにして長期的な不平等を埋め込み、拡大させるかを分析すること。
• デモグラフィックパリティ以外の公平性定義が、グループの結果に持続的な格差を防げるかどうかを調査すること。
• 動的システムフレームワークを用いて、分類器の意思決定がグループの成功確率に与える長期的影響をモデル化すること。
• 公平な分類器が時間の経過とともに安定的かつ公平な結果をもたらす条件を特定すること。
• デモグラフィックパリティが動的意思決定環境において、不安定化するフィードバックループを唯一回避できることを示すこと。

提案手法

• 著者らは、分類器の意思決定が保護対象グループの将来の成功確率に影響を与える動的システムをモデル化している。
• 肯定的な意思決定が将来の成功確率を高めるフィードバックメカニズムを定義しており、自己強化的なサイクルを形成する。
• リスクスコアを正規分布でモデル化し、しきい値ベースの分類器を用いて意思決定を行う。
• 安定性解析にはヤコビアン行列を用い、異なる公平性定義下での均衡点を評価している。
• 本モデルは、格差が持続する不適切な均衡（不適切な均衡）と、グループが均等に扱われる望ましい均衡（望ましい均衡）を評価している。
• 感度分析を実施し、望ましい均衡が不安定化する条件を特定しており、特にノイズ（σ）とフィードバック強度（β）の影響に注目している。

実験結果

リサーチクエスチョン

• RQ1 一般的な公平性定義を満たす完全に正確な分類器であっても、長期的な不平等を引き起こす可能性があるか？
• RQ2 自動意思決定システムにおけるフィードバック駆動型格差を防ぐために、デモグラフィックパリティが果たす役割は何か？
• RQ3 動的意思決定システムにおける望ましい均衡が不安定化する条件は何か？
• RQ4 意思決定と結果の間のフィードバックループが長期的公平性にどのように影響するか？
• RQ5 なぜデモグラフィックパリティだけが、他の公平性概念と比較して長期的結果を唯一安定化させるのか？

主な発見

• 等しいオッズやその他の公平性定義を満たす完全に正確な分類器であっても、フィードバックループの影響により、安定的かつ長期的な不平等が生じ得る。
• モデルは、デモグラフィックパリティでない公平性定義では、格差が無期限に持続する不適切な均衡が生じることを示している。
• デモグラフィックパリティが唯一、すべてのグループが等しい成功確率を達成する安定的で望ましい均衡に至る公平性概念である。
• ノイズレベルσが十分に小さい場合、望ましい均衡は不安定化する。これは、微小な摂動が公平性を損なう可能性を示している。
• 非デモグラフィックパリティの均衡の不安定性は、ヤコビアン解析により数学的に証明されており、特定の条件下で固有値の絶対値が1を超えることが示されている。
• 結果として、静的公平性基準に最適化された分類器であっても、動的フィードバック効果が公平性を損なう可能性があることが明らかになった。