[論文レビュー] A Deep Reinforcement Learning Framework for Rebalancing Dockless Bike Sharing Systems

Ling Pan, Qingpeng Cai+3 more|arXiv (Cornell University)|Feb 13, 2018

Urban Transport and Accessibility参考文献 24被引用数 23

ひとこと要約

本稿では、ユーザーにインcentiveを提供することで、空間的・時間的分散を促すことで、ドッキングなし自転車共有システムのバランスを再調整するための深層強化学習フレームワーク、階層的強化学習価格設定（HRP）を提案する。HRPは問題をマルコフ意思決定過程としてモデル化し、空間的・時間的依存性を捉えるために局所的モジュールを備えた分割統治構造を採用しており、24時間スロット先読み最適化の2%以内というほぼ最適な性能を達成するとともに、サービス水準および自転車の分布安定性において最先端手法を上回っている。

ABSTRACT

Bike sharing provides an environment-friendly way for traveling and is booming all over the world. Yet, due to the high similarity of user travel patterns, the bike imbalance problem constantly occurs, especially for dockless bike sharing systems, causing significant impact on service quality and company revenue. Thus, it has become a critical task for bike sharing systems to resolve such imbalance efficiently. In this paper, we propose a novel deep reinforcement learning framework for incentivizing users to rebalance such systems. We model the problem as a Markov decision process and take both spatial and temporal features into consideration. We develop a novel deep reinforcement learning algorithm called Hierarchical Reinforcement Pricing (HRP), which builds upon the Deep Deterministic Policy Gradient algorithm. Different from existing methods that often ignore spatial information and rely heavily on accurate prediction, HRP captures both spatial and temporal dependencies using a divide-and-conquer structure with an embedded localized module. We conduct extensive experiments to evaluate HRP, based on a dataset from Mobike, a major Chinese dockless bike sharing company. Results show that HRP performs close to the 24-timeslot look-ahead optimization, and outperforms state-of-the-art methods in both service level and bike distribution. It also transfers well when applied to unseen areas.

研究の動機と目的

• ドッキングなし自転車共有システムにおける持続的な自転車の不均衡問題に対処し、サービス品質と運用効率を低下させること。
• スケーラブルで予算を考慮した、かつ適応的な再バランス戦略を構築し、経済的インセンティブを通じてユーザー行動を活用すること。
• 再バランス問題を空間的・時間的ダイナミクスを組み込んだマルコフ意思決定過程としてモデル化すること。
• 正確な需要予測に依存せずに、複雑な空間的・時間的依存性を捉える深層強化学習アルゴリズムを設計すること。
• 異なる供給レベルおよび未学習の地理的領域において、フレームワークの性能、頑健性、一般化能力を評価すること。

提案手法

• HRPは、地域ごとの自転車供給、需要、およびユーザー到着パターンを含む状態を含むマルコフ意思決定過程として定式化される。
• 行動空間は、供給不足または過剰な地域における自転車のピックアップまたはドロップオフを促すための地域別経済的インセンティブから成る。
• HRPは、空間的依存性のモデリングを向上させるために、グローバルポリシーと局所的モジュールを備えた階層的構造を採用している。
• アルゴリズムは、連続的行動出力を可能にするDeep Deterministic Policy Gradient（DDPG）に基づいて構築されており、動的インセンティブ価格設定が可能である。
• 局所的モジュールは、地域の近隣ダイナミクスに注目することでQ値推定を精緻化し、空間的認識を向上させている。
• フレームワークは、上海のMobikeトラジェクトリーデータを用いてオフライン学習とオンラインポリシー展開により訓練および評価されている。

実験結果

リサーチクエスチョン

• RQ1 正確な需要予測に依存せずに、ユーザーインセンティブを活用することで、深層強化学習フレームワークがドッキングなし自転車共有システムの再バランスを効果的に実現できるか。
• RQ2 HRPアルゴリズムは、サービス水準および自転車の分布安定性という観点で、最先端手法と比較してどの程度の性能を示すか。
• RQ3 特定の地域で学習したHRPが、未学習の地理的領域にどの程度一般化できるか。
• RQ4 HRPの性能は、24時間スロット先読み最適解にどの程度近いか。
• RQ5 異なる自転車供給レベルおよび長期にわたる展開において、HRPはどの程度頑健か。

主な発見

• HRPは自転車の分布におけるKLダイバージェンスを0.548に抑え、すべてのベースラインおよびMobikeの元来システム（0.554）を上回り、分布安定性の向上を示している。
• 異なる供給レベルにおいて、未サービス比を47%〜60%まで削減し、自転車の入手制限下でも強い頑健性を示している。
• 5日間の期間にわたり、HRPはHRAおよびOPT-FIXと比較して性能差が拡大し、より優れた長期的報酬最大化を実現している。
• HRPの性能は、24時間スロット先読み最適解の2%以内であり、HRAが4時間スロット最適化性能にとどまるのと比べて顕著に優れている。
• HRPは未学習地域への一般化がうまくいっており、テスト地域の80%において未サービス比を40%〜80%まで削減し、CDFが常にHRAよりも右側に位置している。
• HRPに組み込まれた局所的モジュールは空間的依存性のモデリングを強化し、より良いQ値推定とより効果的なインセンティブ配分を可能にしている。