[論文レビュー] Two Phase $Q-$learning for Bidding-based Vehicle Sharing

Yinlam Chow, Jia Yuan Yu+1 more|arXiv (Cornell University)|Sep 29, 2015

Transportation and Mobility Innovations参考文献 25被引用数 3

ひとこと要約

本稿では、顧客が入札を行い、運用者が最適にレンタルを割り当てることで収益を最大化するとともに、車両利用率制約を満たす入札ベースの車両共有システムのための2段階Q学習アルゴリズムを提案する。この手法は、問題を制約付きマルコフ決定過程（CMDP）としてモデル化し、2段階のベルマン最適性条件を導出し、数値実験を通じて、ペナルティ付きQ学習やラグランジュ作用者・評価者アーキテクチャ法と比較して、収束が速く、サービス制約をよりよく満たすことを示している。

ABSTRACT

We consider one-way vehicle sharing systems where customers can rent a car at one station and drop it off at another. The problem we address is to optimize the distribution of cars, and quality of service, by pricing rentals appropriately. We propose a bidding approach that is inspired from auctions and takes into account the significant uncertainty inherent in the problem data (e.g., pick-up and drop-off locations, time of requests, and duration of trips). Specifically, in contrast to current vehicle sharing systems, the operator does not set prices. Instead, customers submit bids and the operator decides whether to rent or not. The operator can even accept negative bids to motivate drivers to rebalance available cars to unpopular destinations within a city. We model the operator's sequential decision-making problem as a \emph{constrained Markov decision problem} (CMDP) and propose and rigorously analyze a novel two phase $Q$-learning algorithm for its solution. Numerical experiments are presented and discussed.

研究の動機と目的

• ワンウェイ車両共有システムにおける需要と供給の不均衡を解消するため、固定価格を入札方式のオークションメカニズムに置き換えること。
• 運用者の逐次的意思決定を、収益最大化と車両利用率制約を含む制約付きマルコフ決定過程（CMDP）としてモデル化すること。
• やや弱い仮定の下で最適方策に収束するサンプリングに基づく2段階Q学習アルゴリズムを開発すること。
• 既存手法（ペナルティ付きQ学習やラグランジュ作用者・評価者手法など）と比較して、アルゴリズムの性能を実験的に評価すること。
• 理論的裏付けが強く、人手による運転や駐車場の過剰容量に依存しないスケーラブルなソリューションを提供すること。

提案手法

• 運用者は入札メカニズムを用い、顧客が入札を提出し、運用者がどの入札を受け入れるかを決定することで、動的価格設定と再配置インcentiveを可能にする。
• 問題は、入札に基づくレンタル割り当て意思決定を行動とする制約付きマルコフ決定過程（CMDP）として定式化され、合計収益を最大化するが、最低平均車両利用率制約を満たす必要がある。
• 2段階ベルマン最適性条件が導出され、CMDPは2段階動的計画法によって解けることが示され、まずラグランジュ乗数を固定したもとで価値関数を解き、次にその乗数を最適化する。
• 提案された2段階Q学習アルゴリズムは、レンタル意思決定のQ関数の更新と、利用率制約を満たすためにラグランジュ乗数を調整する操作を交互に繰り返す。
• 各イテレーションにおいて、割り当てサブ問題はバイリニア整数線形計画問題（BILP）として定式化され、中規模問題に対してはCPLEXなどの標準ソルバで解ける。
• アルゴリズムはやや弱い正則性条件の下で、CMDPの最適解に漸近的に収束することが保証され、作用者・評価者ベースのラグランジュ法よりも収束が速い。

実験結果

リサーチクエスチョン

• RQ1 ワンウェイ車両共有において、固定価格を入札方式が効果的に置き換えることで、システム効率を向上させ、運用コストを削減できるか？
• RQ2 収益と利用率制約の下での運用者の逐次的意思決定を、最適に制約付きマルコフ決定過程（CMDP）としてモデル化できるか？
• RQ3 この文脈におけるCMDPの最適方策の理論的構造は何か？ また、それを2段階動的計画法手順に分解できるか？
• RQ4 ペナルティ付きQ学習やラグランジュ作用者・評価者法と比較して、提案された2段階Q学習アルゴリズムの収束速度および制約満たしの性能はいかがなっているか？
• RQ5 中規模の車両共有システム（50台の車両、20か所のステーション、12時間の時間枠）において、性能保証を維持したままスケーラブルに動作するか？

主な発見

• 2段階Q学習アルゴリズムは、制約なしQ学習と比較して総収益が20％低下したが、平均車両利用率が2.5時間に保たれ、最低利用率制約を満たした。
• ラグランジュ作用者・評価者法は逐次的勾配近似を必要とし、ステップサイズのチューニングに敏感であるため、収束が遅いのに対し、本手法はより速く収束した。
• ペナルティ付きQ学習は平均利用率が2.73時間に達したが、収益ギャップが28％に達し、利用率と収益のトレードオフが顕在化した。
• 本手法は、収益と制約遵守の両面でペナルティ付きQ学習およびラグランジュ作用者・評価者法を上回った。
• CPLEXを用いてBILPサブ問題を解くことで、最大50台の車両、20か所のステーション、12時間の時間枠をカバーする中規模問題を効果的に解いた。
• やや弱い仮定の下で、アルゴリズムが最適CMDP解に収束することを理論的に確立し、実用的導入のための堅実な基盤を提供した。