[論文レビュー] Efficient Resource Allocation with Fairness Constraints in Restless Multi-Armed Bandits

De-Xun Li, Pradeep Varakantham|arXiv (Cornell University)|Jun 8, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、公衆衛生や資源が限られた環境において、特定の腕（例：格差のあるコミュニティ）が一貫して無視されるのを防ぐために、公平性制約を課したRestless Multi-Armed Bandits（RMAB）のアプローチを提案する。最大最後の活性化からの経過時間に基づく新しい公平性制約を導入し、スケーラビリティと最適性を保ったまま公平性を満たすWhittleインデックスアルゴリズムを修正し、モデルベースおよびモデルフリーの学習手法を評価することで、期待報酬性能に著しい損失を伴わずに公平性を実現できることを示している。

ABSTRACT

Restless Multi-Armed Bandits (RMAB) is an apt model to represent decision-making problems in public health interventions (e.g., tuberculosis, maternal, and child care), anti-poaching planning, sensor monitoring, personalized recommendations and many more. Existing research in RMAB has contributed mechanisms and theoretical results to a wide variety of settings, where the focus is on maximizing expected value. In this paper, we are interested in ensuring that RMAB decision making is also fair to different arms while maximizing expected value. In the context of public health settings, this would ensure that different people and/or communities are fairly represented while making public health intervention decisions. To achieve this goal, we formally define the fairness constraints in RMAB and provide planning and learning methods to solve RMAB in a fair manner. We demonstrate key theoretical properties of fair RMAB and experimentally demonstrate that our proposed methods handle fairness constraints without sacrificing significantly on solution quality.

研究の動機と目的

• 報酬最大化ポリシーによって引き起こされる干渉の不足（例：格差のあるコミュニティが常に無視される）という問題に対処すること。
• ある腕または腕の種類が、最後の活性化後、限定された時間窓内に少なくとも1回は活性化されるように保証する、RMABにおける公平性制約を形式化すること。
• 有限および無限のホライズンRMAB問題において、公平性制約を満たすスケーラブルで最適なWhittleインデックスに基づくアルゴリズムを開発すること。
• 遷移確率が不明な状況における公平なRMABのためのモデルフリーな学習手法（ThompsonサンプリングおよびQ学習を用いて）を提案すること。
• 公平性制約が期待報酬性能を著しく低下させないことを実証的に検証すること。

提案手法

• 最大時間間隔 $ L $ を用いた公平性制約を提案し、$ L-1 $ ステップ以内に活性化されなかった腕は時間 $ L $ に必ず選択されるようにすることで、最小活性化頻度を保証する。
• 最後の活性化からの経過時間を考慮したペナルティ項をインデックス計算に組み込むことで、Whittleインデックスアルゴリズムに公平性制約を統合する。
• 受動的遷移と行動の結果に基づいて更新される信念状態MDPを用いて、公平性制約下での最適行動選択の条件を導出する。
• 遷移確率が不明な状況において、Whittleインデックスを推定するためのモデルフリーな学習アプローチ（ThompsonサンプリングおよびQ学習を用いて）を導入し、実世界の応用を可能にする。
• 部分的に観測可能なMDPフレームワークを用い、過去の行動と観測に基づいて信念状態を更新する。公平性トリガーによる活性化は、信念チェーンの先頭への遷移としてモデル化する。
• LiuとZhao（2010）の研究に基づく価値関数近似を用いて、公平性制約下での将来報酬の期待値を計算する。

実験結果

リサーチクエスチョン

• RQ1 RMABにおいて、長期的な無視を防ぐために、公平性制約を形式的に定義できるか？
• RQ2 公平性制約を満たしつつ、最適性とスケーラビリティを維持できるように、Whittleインデックスアルゴリズムをどのように適合できるか？
• RQ3 公平性を強制することで、RMAB設定における期待報酬性能はどの程度低下するか？
• RQ4 遷移ダイナミクスが不明な状況において、モデルフリーな強化学習手法が効果的に公平なポリシーを学習できるか？
• RQ5 公平性制約の強さ（例：$ L $ や $ \eta $ の変更）を変化させた場合、公平性と効率性のトレードオフにどのような影響を与えるか？

主な発見

• 提案された公平性制約により、干渉のない腕が発生しなくなり、標準的なWhittleインデックスでは最大50％の腕が干渉を受けない一方、公平なポリシーでは一貫した活性化が実現された。
• 修正されたWhittleインデックスアルゴリズムは高い解の品質を維持し、全テストされた公平性制約レベルにおいて、非公平な最適ベースラインに近い平均報酬を達成した。
• 強い公平性制約（$ L $ が $ kL/N = 1.3 $ となるように）でも、最適報酬の85％以上を達成しており、性能損失が最小限であることが示された。
• モデルフリーな学習手法（ThompsonサンプリングおよびQ学習）は、Whittleインデックスを効果的に近似し、公平性を確保したが、モデルベース手法と同等の性能を示した。
• すべての干渉レベル（$ k/N = 5\%, 10\%, 20\%, 30\% $）において、厳格な公平性制約下でも、ランダムおよび短視近視的ベースラインを一貫して上回った。
• 公平性制約の強さ（$ L $ および $ \eta $ で制御）により、公平性と効率性の間で調整可能なトレードオフが可能であり、低強度の制約（$ kL/N = 3 $）では性能低下が最小限に抑えられた。