[論文レビュー] Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games

Sarah H. Q. Li, Yue Yu+3 more|arXiv (Cornell University)|Mar 2, 2019

Transportation and Mobility Innovations参考文献 35被引用数 11

ひとこと要約

本稿では、マーカフ決定過程混雑ゲーム（MDPCGs）における通行料課徴メカニズムを提案し、集団の均衡を所望の制約や向上した社会的福祉に導く。人口密度制約からの双対変数を用いて報酬を修正することで、ウォードロープ均衡を最小ドライバー密度を満たす方向や社会的生産性を最大化する方向にシフトさせる。シーヅルのライドシェアシミュレーションにおいて、200の制約のみで社会的福祉のギャップを5%削減することを実証した。

ABSTRACT

Markov decision process (MDP) congestion game is an extension of classic congestion games, where a continuous population of selfish agents solves Markov decision processes with congestion: the payoff of a strategy decreases as more population uses it. We draw parallels between key concepts from capacitated congestion games and MDP. In particular, we show that population mass constraints in MDP congestion games are equivalent to imposing tolls/incentives on the reward function, which can be utilized by social planners to achieve auxiliary objectives. We demonstrate such methods in a simulated Seattle ride-share model, where tolls and incentives are enforced for two separate objectives: to guarantee minimum driver density in downtown Seattle, and to shift the game equilibrium towards a maximum social output.

研究の動機と目的

• 個々の利得を最適化する自律的エージェントによる行動に起因する非効率性を、都市移動ネットワークで解消すること。
• エージェントの行動を直接制御できない社会計画者が、人口密度の制約（例えば、需要の高い地域における最低ドライバー密度）を強制できるようにすること。
• 制約に基づく通行料課徴を用いて、均衡を社会的最適な結果にシフトさせることで、混雑ゲームにおける社会的福祉を向上させること。
• フランク＝ウォルフと双対性を用いて、リアルタイムまたは適応的展開に耐える計算的に実行可能なインcentive設計フレームワークを開発すること。
• 動的需要と確率的遷移を伴う現実的なライドシェアシナリオにおいて、手法の有効性を実証すること。

提案手法

• 報酬が人口密度に依存する厳密に減少する関数 ℓtsa(ytsa) を用いて、MDPCGs をポテンシャルゲームとして形式化する。
• 制約付き最適化からの双対変数 τ⋆ts を用い、報酬関数を r̄tsa(y) = ℓtsa(ytsa) + τ⋆ts の形で人工的な通行料として修正する。
• 修正された報酬下での均衡を数値的に解くためにフランク＝ウォルフ法を適用し、オンライン解釈として反復的ポリシー更新として解釈する。
• ∑a ytsa ≥ c（例：ベリーツォンで最低10名のドライバー）の形の制約を定義し、KKT条件を用いて対応する通行料を導出する。
• アルゴリズム4を用いて、状態行動分布の上限・下限を生成し、社会的最適性を近似する制約の集合を構築する。
• 最適化にCVXPYを、エージェント行動シミュレーションにアルゴリズム3を用い、シーヅルのライドシェアモデル（3500名のドライバー）を用いたシミュレーションで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 MDPCGにおける制約ベースの通行料課徴は、例えばダウンタウン地域のような特定の状態における最低人口密度を効果的に強制できるか？
• RQ2 社会計画者がエージェント戦略の直接制御なしに、報酬の修正を用いてウォードロープ均衡を社会的最適な結果にシフトさせられるか？
• RQ3 課せられる制約の数とそれに伴う社会的福祉の向上のトレードオフは何か？
• RQ4 通行料の大きさと符号は、制約の密度とシステムのダイナミクスにどのように依存するか？
• RQ5 制約に起因する報酬修正下でも、フランク＝ウォルフ法は効率的に均衡に収束するか？

主な発見

• ベリーツォン（状態7）にドライバー密度の最小制約（10名）を課したところ、その地域の人口密度が有意に上昇し、首都丘（状態2）などの隣接地域に対しても影響が波及した。
• 近似許容誤差 ϵ が減少するにつれて、フランク＝ウォルフ法はウォードロープ均衡に収束し、600イテレーションで ‖yϵ − y⋆‖₂ / ‖y⋆‖₂ が 10⁻³ まで低下した。
• 200の制約のみで、ユーザーが選択した均衡と社会的最適解とのギャップが、最大社会的福祉の5%未満にまで縮小された。
• 通行料は1単位時間あたり −0.05 から 0.05 の範囲にあり、ネット収入（hnet）は制約数の増加に伴い増加し、余剰の再分配が活発に行われていることを示した。
• 極めて少ない制約数でほぼ最適な社会的福祉を達成した。これは、混雑に依存しない通行料が、従来の混雑依存課税を上回ることを示している。