[論文レビュー] Algorithms for Fairness in Sequential Decision Making

Min Wen, Osbert Bastani+1 more|arXiv (Cornell University)|Jan 24, 2019

Economic Policies and Impacts被引用数 17

ひとこと要約

本稿は、フィードバック効果をマルコフ決定過程（MDP）としてモデル化することで、逐次的設定における公平な意思決定ポリシーの学習のためのアルゴリズムを提案する。MDPフレームワーク内に、デモグラフィックパリティと機会の平等という公平性制約を導入し、ダイナミクスを無視すると不公平な結果が生じることを示し、モデルベースおよびモデルフリーアルゴリズムが、フィードバック効果を無視するか、最悪のダイナミクスを仮定するベースラインよりも優れた公平性と性能のトレードオフを達成することを実証した。

ABSTRACT

It has recently been shown that if feedback effects of decisions are ignored, then imposing fairness constraints such as demographic parity or equality of opportunity can actually exacerbate unfairness. We propose to address this challenge by modeling feedback effects as Markov decision processes (MDPs). First, we propose analogs of fairness properties for the MDP setting. Second, we propose algorithms for learning fair decision-making policies for MDPs. Finally, we demonstrate the need to account for dynamical effects using simulations on a loan applicant MDP.

研究の動機と目的

• フィードバック効果を無視した逐次的意思決定において、静的学習における公平性制約が逆に不公平を悪化させる問題に対処すること。
• 状態遷移のダイナミクスを伴うMDP設定に、デモグラフィックパリティや機会の平等といった公平性定義を意味的に拡張すること。
• 状態遷移と意思決定の長期的影響を考慮しながら、公平なポリシーを学習する実用的なアルゴリズムを開発すること。
• 実験的に、ダイナミクスを無視すると、公平性制約を適用しても不公平なポリシーが生じることを示すこと。

提案手法

• 意思決定のフィードバック効果を、状態が個人の進化する属性を表し、行動が意思決定（例：ローン承認）を表すマルコフ決定過程（MDP）としてモデル化する。
• MDP固有の公平性制約として、デモグラフィックパリティと機会の平等を導入し、時間経過に伴うサブグループ（例：多数派対マイノリティ）間での平均的結果の均等化として定義する。
• 有限の状態・行動空間と分離性の仮定（感受性属性が時間経過で変化しない）の下で最適性保証を持つモデルベースのアルゴリズムを提案する。
• 一般のMDPに適用可能な、最適性保証のないモデルフリーアルゴリズムを開発する。
• 制約付きMDP技術を用いて、意思決定者の報酬（例：銀行の利益）と個人の結果を区別しながら、公平性制約下でのポリシー最適化を実現する。
• 性能比較のため、最悪の敵対的状態遷移を仮定する保守的ベースラインと、フィードバック効果がないと仮定する楽観的ベースラインを採用する。

実験結果

リサーチクエスチョン

• RQ1 フィードバック効果を無視した逐次的意思決定において、静的学習における公平性制約が、結果として悪化する可能性があるか？
• RQ2 状態遷移のダイナミクスを伴うMDPフレームワークに、デモグラフィックパリティや機会の平等といった公平性特性をどのように意味的に拡張できるか？
• RQ3 フィードバック効果を考慮するアルゴリズムと、それを無視するアルゴリズムの間で、性能と公平性のトレードオフはどのように異なるか？
• RQ4 MDPにおける公平なポリシーを学習するモデルベースとモデルフリーアプローチは、最適性と実用性の観点からどのように比較できるか？
• RQ5 ダイナミクスを無視した場合、制約違反と報酬損失という観点から、公平性に及ぼす影響は何か？

主な発見

• フィードバック効果を無視する楽観的ベースライン（教師あり学習を模倣）は、デモグラフィックパリティの制約違反値が0.14に達するが、提案手法の0.10より著しく悪い結果を示した。
• 最悪の敵対的ダイナミクスを仮定する保守的ベースラインは、完全な公平性（制約値0）を達成したが、報酬損失が深刻で、10.43から10.00に低下した。
• 提案されたモデルベースのアルゴリズムは、デモグラフィックパリティの制約違反値を0.10に抑え、報酬を10.40の高水準で維持し、公平性と報酬のトレードオフにおいて両ベースラインを上回った。
• 機会の平等に関しては、提案手法が0.10の制約違反値を達成し、楽観的ベースライン（0.11）と同等の性能を示したが、感受性属性を無視するレースブラインドポリシー（0.37）よりも著しく優れた公平性を実現した。
• レースブラインドポリシー（感受性属性を無視）は、最高の報酬（10.43）を達成したが、公平性制約においては劣悪な性能を示し、動的設定における静的公平性の危険性を浮き彫りにした。
• 結果から、ダイナミクスを考慮することが不可欠であることが明確になった：フィードバック効果を無視すると、公平性制約を明示的に適用しても不公平なポリシーが生じる。