[論文レビュー] Value Function is All You Need: A Unified Learning Framework for Ride Hailing Platforms

Xiaocheng Tang, Fan Zhang+7 more|arXiv (Cornell University)|May 18, 2021

Transportation and Mobility Innovations参考文献 18被引用数 4

ひとこと要約

本論文では、オンラインの経験とオフラインのトラジェクトリーデータを用いて更新されるグローバルに共有される価値関数を活用する、ライドシェアリングプラットフォーム向けの統合的価値ベース強化学習フレームワークV1D3を提案する。定期的なアンサンブル手法を通じて、高速なオンライン学習と大規模なオフライン事前学習を組み合わせることで、V1D3は注文配分および車両再配置の両面で最先端の性能を達成し、KDD Cup 2020優勝チームを上回るドライバー収入およびユーザー体験指標を実現した。

ABSTRACT

Large ride-hailing platforms, such as DiDi, Uber and Lyft, connect tens of thousands of vehicles in a city to millions of ride demands throughout the day, providing great promises for improving transportation efficiency through the tasks of order dispatching and vehicle repositioning. Existing studies, however, usually consider the two tasks in simplified settings that hardly address the complex interactions between the two, the real-time fluctuations between supply and demand, and the necessary coordinations due to the large-scale nature of the problem. In this paper we propose a unified value-based dynamic learning framework (V1D3) for tackling both tasks. At the center of the framework is a globally shared value function that is updated continuously using online experiences generated from real-time platform transactions. To improve the sample-efficiency and the robustness, we further propose a novel periodic ensemble method combining the fast online learning with a large-scale offline training scheme that leverages the abundant historical driver trajectory data. This allows the proposed framework to adapt quickly to the highly dynamic environment, to generalize robustly to recurrent patterns and to drive implicit coordinations among the population of managed vehicles. Extensive experiments based on real-world datasets show considerably improvements over other recently proposed methods on both tasks. Particularly, V1D3 outperforms the first prize winners of both dispatching and repositioning tracks in the KDD Cup 2020 RL competition, achieving state-of-the-art results on improving both total driver income and user experience related metrics.

研究の動機と目的

• 大規模なライドシェアリングプラットフォームにおける供給と需要の複雑でリアルタイムな相互作用に対処すること。
• 注文配分と車両再配置を、それらの相関関係を捉える単一の学習フレームワークに統合すること。
• オンライン取引と歴史的ドライバーの軌跡の両方を活用して、動的環境におけるサンプル効率性とロバストネスを向上させること。
• 価値関数学習を通じて、供給と需要の変化に迅速に適応しつつも長期的なパフォーマンスを維持できるようにすること。
• 実世界のデータにおいて、ドライバー収入およびユーザー体験指標の両面で最先端の結果を達成すること。

提案手法

• リアルタイムプラットフォーム取引からのオンライン経験を用いて、グローバルに共有される価値関数を継続的に更新する。
• オンライン学習と大規模なオフライン学習を組み合わせる、新規の定期的アンサンブル手法を提案する。
• オンライン学習は、ポリシーに依存する価値反復に基づく、人口ベースの時系列差分目的関数を用い、迅速な適応を実現する。
• 価値関数は粗いコード化された状態表現を用いることで、供給と需要の変化に対する地理的に滑らかな価値反応を保証する。
• 同じ共有価値関数を用いて、配分と再配置意思決定のための価値ベースの計画を統合する。
• オフラインモデルはロバストな初期化を提供し、オンライン更新はリアルタイムの変動に動的に応答できる。

実験結果

リサーチクエスチョン

• RQ1 統合的価値ベースフレームワークは、大規模なライドシェアリングシステムにおける注文配分と車両再配置を効果的に調整できるか？
• RQ2 オンライン学習とオフライン学習をどのように組み合わせることで、動的交通環境におけるサンプル効率性とロバストネスを向上させられるか？
• RQ3 共有価値関数は、供給（ドライバー）と需要（注文）の急激な変化にどの程度適応できるか？
• RQ4 提案されたアンサンブル学習手法は、実世界のライドシェアリングシナリオにおいて、単独のオンラインまたはオフライン学習を上回る性能を示すか？
• RQ5 このフレームワークは、ドライバー収入とユーザー体験指標の両面で優れたパフォーマンスを同時に達成できるか？

主な発見

• V1D3は、KDD Cup 2020強化学習コンペティションの配分および再配置の両トラックで、1位受賞ソリューションを上回った。
• 実世界のデータセットを用いた実験において、総ドライバー収入およびユーザー体験関連指標の向上において、最先端の結果を達成した。
• 価値関数は新規ドライバーの到着に迅速に適応し、過剰な募集を抑えるために出発地点での価値が即座に低下するのを示した。
• 需要の急増に伴い価値関数が上昇し、高需要地域へのドライバーの割り当てを促進した。
• 動的価値応答は地理的に滑らかで、供給と需要の不均衡が解消されるに従い自然に減衰した。
• 定期的アンサンブル手法により、高速なオンライン適応が可能であり、同時に大規模なオフライン事前学習によるロバストネスを維持できた。