[論文レビュー] Reinforcement Learning in the Wild: Scalable RL Dispatching Algorithm Deployed in Ridehailing Marketplace

Soheil Sadeghi Eshkevari, Xiaocheng Tang+5 more|arXiv (Cornell University)|Feb 10, 2022

Transportation and Mobility Innovations被引用数 5

ひとこと要約

本論文は、時間差（TD）価値更新と適応的メカニズムを用いてドライバー・オーダーの割り当てを最適化する、スケーラブルでリアルタイムな強化学習（RL）ディスpatchアルゴリズムを提案する。A/Bテストではドライバー収入が1.3%向上し、因果分析では最大5.3%のパフォーマンス向上を示し、実世界の市場における堅牢で大規模な展開の有効性を裏付けている。

ABSTRACT

In this study, a real-time dispatching algorithm based on reinforcement learning is proposed and for the first time, is deployed in large scale. Current dispatching methods in ridehailing platforms are dominantly based on myopic or rule-based non-myopic approaches. Reinforcement learning enables dispatching policies that are informed of historical data and able to employ the learned information to optimize returns of expected future trajectories. Previous studies in this field yielded promising results, yet have left room for further improvements in terms of performance gain, self-dependency, transferability, and scalable deployment mechanisms. The present study proposes a standalone RL-based dispatching solution that is equipped with multiple mechanisms to ensure robust and efficient on-policy learning and inference while being adaptable for full-scale deployment. A new form of value updating based on temporal difference is proposed that is more adapted to the inherent uncertainty of the problem. For the driver-order assignment, a customized utility function is proposed that when tuned based on the statistics of the market, results in remarkable performance improvement and interpretability. In addition, for reducing the risk of cancellation after drivers' assignment, an adaptive graph pruning strategy based on the multi-arm bandit problem is introduced. The method is evaluated using offline simulation with real data and yields notable performance improvement. In addition, the algorithm is deployed online in multiple cities under DiDi's operation for A/B testing and is launched in one of the major international markets as the primary mode of dispatch. The deployed algorithm shows over 1.3% improvement in total driver income from A/B testing. In addition, by causal inference analysis, as much as 5.3% improvement in major performance metrics is detected after full-scale deployment.

研究の動機と目的

• オフライン事前学習を必要としない、スケーラブルでリアルタイムな強化学習（RL）ディスpatchシステムの開発を目的とする。
• オンラインTD学習を用いて長期的価値推定と履歴データを統合することで、短視眼的でルールベースのディスパッチの限界を克服することを目的とする。
• カスタムユーティリティ関数と適応的グラフプリーニングの設計により、キャンセルリスク低減を図り、ドライバー収入とサービス完了率の向上を実現することを目的とする。
• 適応的学習率や報酬スムージングといった新規メカニズムを導入することで、ポリシー内学習と推論の堅牢性と効率性を確保することを目的とする。
• オフラインシミュレーション、A/Bテスト、および主要国際市場における本格的展開を通じて、アルゴリズムの有効性を検証することを目的とする。

提案手法

• リアルタイムで状態価値を更新するため、期待リターンの代わりに、移動完了の確率を反映した決定論的TD更新を用いるオンライン時間差（TD）学習を採用する。
• 状態の訪問頻度と更新の大きさに基づいてスケーリングされる適応的学習率を導入し、価値推定の分散を低減する。
• 即時のRL信号の高い分散を緩和するため、報酬スムージング機構を適用し、学習の安定性を向上させる。
• 距離や価格などの独立した要素を標準化し、動的重み付けを行うカスタムユーティリティ関数を設計し、ドライバー・オーダーの二部グラフマッチングに適用する。
• フィードバック制御付きのマルチアームバンディット戦略を導入し、グローバルパフォーマンス指標に基づいて割り当ての積極性を調整することで、動的グラフプリーニングの閾値を設定し、割り当て後のキャンセルを低減する。
• 二段階のディスパッチパイプラインを統合する：まずユーティリティ関数を用いた最大二部マッチングを実行し、その後、フィードバックループを介したTDベースの価値更新により、割り当て失敗率を制御する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムでオンライン学習を行うRLベースのディスパッチシステムは、大規模なライドシェアリング運用において、従来のルールベースや短視眼的メソッドを上回ることができるか？
• RQ2 時間差学習は、現実世界のディスパッチにおける移動完了の不確実性と遅延報酬に対応するために、どのように適合可能か？
• RQ3 カスタムユーティリティ関数と適応的プリーニングは、静的エッジ重みと比較して、ドライバー収入と完了率をどの程度向上できるか？
• RQ4 RLベースのディスパッチシステムを実世界市場に展開した際の因果的影響は、主要パフォーマンス指標にどのように現れるか？
• RQ5 需要密度や都市構造の異なる都市において、RLシステムのパフォーマンスはどの程度スケーリング可能か？

主な発見

• 複数の大都市で実施されたA/Bテストにおいて、導入済みのRLベースのディスパッチアルゴリズムは、ドライバー総収入が1.3%向上した。
• 合成コントロールと差の差分（difference-in-differences）法を用いた因果推論分析により、主要国際市場への本格的展開後、主要パフォーマンス指標に5.3%の向上が確認された。
• オフラインシミュレーションでは、提案されたRLWアルゴリズムが、テストされた大多数の都市で最先端のベースラインを上回った。
• 小規模都市では、需要の希薄さと信号対雑音比の不安定さが要因で、わずかまたはやや負の改善が観察された。
• フィードバック制御付きマルチアームバンディット機構は、リアルタイムパフォーマンスに基づいて動的グラフプリーニングの閾値を調整することで、割り当て後のキャンセルを効果的に低減した。
• 適応的学習率と報酬スムージングの統合により、高不確実性環境下でも学習の安定性と価値関数の収束性が顕著に向上した。