[論文レビュー] Fairness in Reinforcement Learning

Paul Weng|arXiv (Cornell University)|Jul 24, 2019

Reinforcement Learning in Robotics参考文献 28被引用数 14

ひとこと要約

本稿では、一般化ジニ係数（GGI）を用いた社会的総 welfare 関数を用いて強化学習に公平性を統合する手法を提案する。これは、複数のステークホルダー間で効率性と公平性のバランスを取る方策を最適化する。DQN を変更し、平均待ち時間の最小化と交通整理の公平性の両方を同時に最適化することで、標準DQNに比べてわずかに高い平均遅延を示すが、GiniベースのGini-DQNアプローチは、待ち時間の分布がはるかに公平になることを示している。

ABSTRACT

Decision support systems (e.g., for ecological conservation) and autonomous systems (e.g., adaptive controllers in smart cities) start to be deployed in real applications. Although their operations often impact many users or stakeholders, no fairness consideration is generally taken into account in their design, which could lead to completely unfair outcomes for some users or stakeholders. To tackle this issue, we advocate for the use of social welfare functions that encode fairness and present this general novel problem in the context of (deep) reinforcement learning, although it could possibly be extended to other machine learning tasks.

研究の動機と目的

• 複数のステークホルダーに影響を与える意思決定支援システムや自律システムにおいて、公平性の考慮が欠如しているという問題に対処すること。
• 特に強化学習において、公平性を符号化した社会的福利関数を用いた、公平な逐次的意思決定のための新規フレームワークを提案すること。
• パレート最適化の限界を克服し、スカラー型の福利関数を用いてパレートフロントから1つの公平な解を選択すること。
• 交通制御のような現実世界の逐次的意思決定タスクにおける公平最適化の実現可能性と利点を実証すること。
• エージェント間の効率性と公平性のバランスを取る公平性に配慮した目的関数を、深層強化学習に統合すること。

提案手法

• ユーザー／ステークホルダーの利得に基づき、公平性に配慮した福利関数を最大化する非線形凸最適化問題として、公平な逐次的意思決定を定式化する。
• 一般化ジニ係数（GGI）を、順序付けられた利得の重み付き和として定義する。重みは低下する形で、低い利得を強調する。
• 方策の多目的価値関数にGGIを適用し、元の強化学習の目的関数を、公平性を促進するスカラーかつ凹関数に変換する。
• 深層Qネットワーク（DQN）アルゴリズムを変更し、GGI目的関数の下での最適方策を近似可能にすることで、深層強化学習におけるエンドツーエンド学習を可能にする。
• 学習中にステークホルダー間の利得の差を最小化するよう重み付けを再調整する損失関数のメカニズムを採用する。
• GGIのシュール・コンカベイティおよび分解可能性を活用し、逐次的意思決定における望ましい最適化特性を維持する。

実験結果

リサーチクエスチョン

• RQ1 全体のシステム効率を損なわせることなく、公平性を強化学習に体系的に統合する方法は何か？
• RQ2 ジニ係数のような単一のスカラー型福利関数が、複数ステークホルダー環境における公平な結果への方策学習を効果的に導けるか？
• RQ3 交通制御システムにおいて、平均待ち時間を最小化することと公平性を確保することのトレードオフは何か？
• RQ4 Giniベースの目的関数は、標準DQNに比べて、逐次的意思決定における公平性と平均的パフォーマンスの両面でどのように異なるか？
• RQ5 既存の深層強化学習アルゴリズムは、非線形な福利関数を用いて公平性を最適化するために、どの程度変更可能か？

主な発見

• GGI-DQNアプローチは、標準DQN（420.72タイムステップ）に比べてわずかに高い平均待ち時間（427.05タイムステップ）を示した。これは、効率性と公平性のトレードオフを確認するものである。
• 高い平均遅延にもかかわらず、GGI-DQNは全8本のレーンにおける待ち時間の分布が著しく公平になった。これは、レーン間の差が著しく減少したことを示している。
• 標準DQNは待ち時間の不平等が顕著で、一部のレーンが他のレーンよりも著しく長い遅延を経験していた。
• 提案手法は、GGIの重み付けメカニズムにより、低い利得を優先することでステークホルダーの福祉をバランスさせることに成功した。
• 結果として、GGIによる公平性に配慮した最適化が、深層強化学習に効果的に統合可能であり、複雑な現実世界の環境でも公平な結果を達成できることを示している。
• このアプローチは交通制御を越えて、他のマルチエージェントまたはマルチステークホルダーの逐次的意思決定問題へも一般化可能である。