[論文レビュー] Survey on Fair Reinforcement Learning: Theory and Practice

Pratik Gajane, Akrati Saxena+3 more|arXiv (Cornell University)|May 20, 2022

Ecosystem dynamics and resilience被引用数 8

ひとこと要約

本調査は、強化学習（RL）における公平性について、理論的基盤、実用的応用、およびバイアス補正、グループ対個別公平性、説明可能性といった主な課題を網羅的に概説する。単一エージェント、マルチエージェント、長期的、オフラインRLの設定において、既存の研究を統合し、理論的保証と実証的知見の両方を備えた、研究者および実務家が公平なRLを前進させるための統一的リファレンスを提供する。

ABSTRACT

Fairness-aware learning aims at satisfying various fairness constraints in addition to the usual performance criteria via data-driven machine learning techniques. Most of the research in fairness-aware learning employs the setting of fair-supervised learning. However, many dynamic real-world applications can be better modeled using sequential decision-making problems and fair reinforcement learning provides a more suitable alternative for addressing these problems. In this article, we provide an extensive overview of fairness approaches that have been implemented via a reinforcement learning (RL) framework. We discuss various practical applications in which RL methods have been applied to achieve a fair solution with high accuracy. We further include various facets of the theory of fair reinforcement learning, organizing them into single-agent RL, multi-agent RL, long-term fairness via RL, and offline learning. Moreover, we highlight a few major issues to explore in order to advance the field of fair-RL, namely - i) correcting societal biases, ii) feasibility of group fairness or individual fairness, and iii) explainability in RL. Our work is beneficial for both researchers and practitioners as we discuss articles providing mathematical guarantees as well as articles with empirical studies on real-world problems.

研究の動機と目的

• 単一エージェント、マルチエージェント、長期的、オフラインRLの設定における公平性に配慮した強化学習（fair-RL）の体系的レビューを提供すること。
• ハiring、レコメンデーションシステム、リソース割り当てなどの分野におけるfair-RLの実用的応用を分析すること。
• 社会的バイアス補正、グループ対個別公平性の妥当性、説明可能性といったfair-RLにおける主な課題を特定し、議論すること。
• 理論的保証と実証的研究を統合し、研究者および実務家がfair-RLを前進させるのを支援すること。
• 公平性、透明性、スケーラビリティの分野における未解決問題と今後の研究方向性を強調すること。

提案手法

• fair-RLのアプローチを、単一エージェントRL、マルチエージェントRL、長期的公平性を実現するRL、オフラインRLの4つの主要な設定に分類する。
• グループ公平性（例：人種的差別の排除、同等の機会）や個別公平性（例：類似性に基づく処遇）といった公平性の定義をレビューし、理論的・実用的トレードオフを分析する。
• RLの目的関数に統合された公平性制約を検討し、制約付き最適化や報酬設計による公平性基準の満たし方を分析する。
• RLにおける説明可能性技術を調査し、後処理説明モデル（例：LMUTs）、解釈可能な方策表現（例：PIRL）、対向的説明（counterfactual explanations）を含む。
• 実証的研究と理論的分析を通じて、公平性正則化RLアルゴリズムの性能を評価し、パフォーマンスと公平性のバランスを強調する。
• 従来の教師あり学習と公平性に配慮したRLを比較し、静的意思決定の限界と、長期的バイアス低減に向けた逐次的意思決定の利点を強調する。

実験結果

リサーチクエスチョン

• RQ1 異なるRL設定において、公平性をどのように効果的に形式化し、強化学習フレームワークに統合できるか？
• RQ2 RLにおけるグループ公平性と個別公平性のトレードオフは何か？それらをどのように調和させられるか？
• RQ3 RLにおける逐次的意思決定のダイナミクスは、長期的公平性やバイアスの発生にどのように影響するか？
• RQ4 公平性が重要な応用において、RLエージェントの行動を説明するための最も効果的な手法は何か？
• RQ5 社会的バイアスの是正とfair-RLシステムのスケーラビリティを確保するうえでの主な課題は何か？

主な発見

• 動的探索と活用のトレードオフを活用することで、ハiringの場面において、強化学習は教師あり学習を上回り、候補者の質を向上させるとともに採用までの時間を短縮し、公平性を維持できる。
• グループ公平性の指標（例：人種的差別の排除、同等の機会）は、公平性の操作（fairness gerrymandering）のリスクを抱えており、複数の保護属性を伴うとスケーリングが困難である。
• 理論的には魅力的だが、個別公平性は、バイアスを含む類似性メトリクスや、タスク関連特徴に基づく公平性の循環的でない定義の欠如により、実装に課題を抱える。
• RLにおける説明可能性はまだ未発達であり、後処理および内生的解釈技術の進展にもかかわらず、多くの手法がユーザーのニーズやターゲットオーディエンスの期待と一致しない。
• グループ公平性と個別公平性の対立は本質的ではなく、公平性メトリクスの単純な適用に起因するため、ハイブリッドアプローチがその緊張を緩和できる可能性がある。
• トレーニング段階で公平性制約を組み込むfair-RL手法は、後処理による補正に比べ、特にフィードバックループを持つ動的環境において、長期的な公平性の結果が向上することが示された。