[論文レビュー] Fairness with Dynamics.

Min Wen, Osbert Bastani+1 more|arXiv (Cornell University)|Jan 24, 2019

Reinforcement Learning in Robotics参考文献 18被引用数 12

ひとこと要約

この論文は、意思決定における公平性制約がフィードバック効果を無視することで、時間経過とともに不公平性を悪化させるリスクに取り組み、フィードバック効果をマルコフ決定過程（MDP）としてモデル化する。公平性に配慮したMDPアルゴリズムおよび強化学習手法を提案し、時間経過にわたって公平性を維持する。シミュレーションにより、ダイナミクスを無視すると、ローン承認のシナリオで不公平性が増加することが示された。

ABSTRACT

It has recently been shown that if feedback effects of decisions are ignored, then imposing fairness constraints such as demographic parity or equality of opportunity can actually exacerbate unfairness. We propose to address this challenge by modeling feedback effects as the dynamics of a Markov decision processes (MDPs). First, we define analogs of fairness properties that have been proposed for supervised learning. Second, we propose algorithms for learning fair decision-making policies for MDPs. We also explore extensions to reinforcement learning, where parts of the dynamical system are unknown and must be learned without violating fairness. Finally, we demonstrate the need to account for dynamical effects using simulations on a loan applicant MDP.

研究の動機と目的

• 静的公平性制約が機械学習において、フィードバック効果を無視することで、時間経過に伴い不公平性を悪化させるリスクに対処すること。
• デモグラフィックパリティや機会の平等といった公平性特性を、マルコフ決定過程（MDP）の枠組み内で形式化すること。
• 長期的フィードバックダイナミクスを考慮したMDPにおける公平な意思決定ポリシーの学習を可能にするアルゴリズムを開発すること。
• 環境の一部が未知であり、公平性を損なわず学習する必要がある強化学習の文脈に、このアプローチを拡張すること。
• ダイナミクスのモデル化の必要性を実証的に検証するため、異なる公平性およびフィードバック仮定の下でローン承認プロセスをシミュレートすること。

提案手法

• 時間変動する状態および行動分布に適応するように、デモグラフィックパリティと機会の平等の公平性制約をMDP内での動的特性として形式化する。
• 長期的公平性を最適化しながら意思決定の質を維持するMDPのポリシー学習アルゴリズムを開発し、制約付き最適化技術を用いる。
• Q学習やポリシー勾配法を変更して、不公平な状態-行動遷移をペナルティ化することで、強化学習に公平性制約を統合する。
• 意思決定と状態の進化の間のフィードバックループを確率的遷移プロセスとしてモデル化し、意思決定が将来の状態分布および公平性指標に影響を与えることを明示する。
• 価値反復やポリシー反復の拡張を用いて、動的制約下で公平なポリシーを計算し、複数の意思決定ステップにわたって公平性が保持されることを保証する。
• フィードバックダイナミクスを有するローン承認MDPをシミュレートし、静的公平性制約と動的公平性に配慮したポリシーの下での結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 静的教師あり学習向けに設計された公平性制約は、時間経過にわたるフィードバック効果を無視することで、不公平性を増大させるおそれがあるか？
• RQ2 デモグラフィックパリティや機会の平等といった公平性特性は、MDPとしてモデル化された動的意思決定設定にどのように適応できるか？
• RQ3 長期的フィードバック効果を考慮したMDPにおける公平なポリシーの学習を可能にするアルゴリズム的アプローチは何か？
• RQ4 未知のダイナミクスを有する強化学習環境において、公平性に配慮したポリシーの性能は静的公平性制約と比べてどうなるか？
• RQ5 公平な意思決定システムにおいて、フィードバックダイナミクスを無視した場合の長期的影響は何か？

主な発見

• 公平性制約においてフィードバック効果を無視すると、初期の意思決定が公平であっても、時間経過に伴い不公平性が顕著に増加する。
• 提案された動的公平性フレームワークは、ローン承認MDPシミュレーションにおいて複数の意思決定ステップにわたって公平性指標を効果的に維持した。
• 公平性に配慮したMDPポリシーは、時間経過に伴ってデモグラフィックパリティと機会の平等を維持する点で、静的公平性制約を上回る性能を示した。
• 環境のダイナミクスが部分的に未知であっても、強化学習の拡張により、ポリシー学習中に公平性を維持できた。
• シミュレーションにより、フィードバックループが初期の格差を拡大させる可能性があることが示されたが、それが明示的にモデル化され制約されない限り。
• 動的アプローチにより、意思決定が長期的な社会的影響を考慮しない場合に生じる公平性の低下を防止できた。