[論文レビュー] Reinforcement Learning for Dynamic Bidding in Truckload Markets: an Application to Large-Scale Fleet Management with Advance Commitments

Yingfei Wang, Juliana Nascimento+1 more|arXiv (Cornell University)|Feb 25, 2018

Supply Chain and Inventory Management参考文献 34被引用数 6

ひとこと要約

本稿では、高次元で空間的に変化する荷主および運送業者の応答曲線を考慮し、収益最大化と情報収集のバランスを取るために、ブートストラップアンサンブルを組み合わせた知識勾配強化学習方策を提案する。動的バイディング最適化において、大規模なフリートシミュレータにおける事前予約制約のもとで、ベースライン方策を上回る収益と契約受諾率を達成し、優れた学習能力と適応性を示した。

ABSTRACT

Truckload brokerages, a $100 billion/year industry in the U.S., plays the critical role of matching shippers with carriers, often to move loads several days into the future. Brokerages not only have to find companies that will agree to move a load, the brokerage often has to find a price that both the shipper and carrier will agree to. The price not only varies by shipper and carrier, but also by the traffic lanes and other variables such as commodity type. Brokerages have to learn about shipper and carrier response functions by offering a price and observing whether each accepts the quote. We propose a knowledge gradient policy with bootstrap aggregation for high-dimensional contextual settings to guide price experimentation by maximizing the value of information. The learning policy is tested using a carefully calibrated fleet simulator that includes a stochastic lookahead policy that simulates fleet movements, as well as the stochastic modeling of driver assignments and the carrier's load commitment policies with advance booking.

研究の動機と目的

• ブローカーが不確実な荷主および運送業者の応答関数についての学習と収益のバランスを取らなければならない動的入札市場における課題に対処すること。
• 地理的ルートと積載物属性の両方で効率的に応答曲線を学習できる、スケーラブルで高次元のコンテキストバンドイット方策を開発すること。
• 事前予約および運送業者コミットメントの制約を伴う現実的で確率的なフリートシミュレータにおいて、情報収集型入札戦略の影響を評価すること。
• 純粋な利益最適化、推定最適価格、平均価格戦略といった実際の産業ヒューリスティクスと比較して、提案方策の性能をベンチマークすること。
• フリート移動と確率的ドライバー割り当ての厳密なシミュレーションを通じて、動的入札における情報の価値を実証すること。

提案手法

• 本稿では、出発地、到着地、商品種別、その他の積載物属性を含むコンテキストを伴う、高次元かつ空間的に分散されたコンテキストバンドイット問題に特化した知識勾配方策を提案する。
• 非線形応答関数の最大値の期待値を効率的に計算するための新規なリサンプリングアルゴリズムを導入し、高次元における知識勾配の計算を実行可能にする。
• ブートストラップアンサンブル（バギング）を用いて、信念モデル内の応答曲線推定を安定化させ、時間経過に伴う分散を低減する。
• 各入札意思決定における情報の価値を定量化することで、未知の応答曲線の学習（探索）と即時の収益最大化（活用）のバランスを取る。
• 14日間の予測期間をカバーする確率的前方探索方策を用いて、フリートの移動と運送業者の積載コミットメントをシミュレートし、現実的な事前予約のダイナミクスを捉える。
• 完全なフリートシミュレータは、ドライバーの位置、労働時間、および近似動的プログラミングを用いた確率的積載受諾をモデル化し、高精度なテスト環境を提供する。

実験結果

リサーチクエスチョン

• RQ1 高次元で空間的に変化するトラックロード入札文脈において、強化学習方策はどのように探索と活用のバランスを効果的に取ることができるか？
• RQ2 情報収集型入札戦略は、トラックロード市場における長期的な収益および契約受諾率にどのような影響を与えるか？
• RQ3 知識勾配方策は、純粋な活用や推定最適価格といった実際の産業ベンチマークと比較して、どのように性能を示すか？
• RQ4 ブートストラップアンサンブルの使用は、動的入札における応答曲線推定のロバスト性と正確性をどの程度向上させるか？
• RQ5 事前予約制約および確率的フリートダイナミクスは、学習ベースの入札方策の性能にどのように影響を与えるか？

主な発見

• 知識勾配（KG）方策は、全テスト方策の中で最高の累積収益を達成し、純粋な活用と推定最適価格戦略を著しく上回った。
• KG方策は、2番目に優れた方策であるサンプル抽出法（Thompson sampling）と比較して、3%高い契約受諾率（荷主および運送業者の両方の受諾を同時に満たすもの）を達成した。
• 純粋な活用が推定最適価格（Est-Opt）戦略を上回ったことから、新たな情報を即座に反映する学習戦略がパフォーマンスに優位性をもたらすことが示された。
• サンプル抽出法（TS）および楽観的サンプル抽出法は、強いがわずかに最適でない性能を示し、類似設定においてその実証的有効性を裏付けた。
• 運送業者の受諾率は荷主の受諾率よりも変動が大きく、運送業者のディスパッチ意思決定の複雑さと、シミュレータ内での近似動的プログラミングの使用が要因である。
• シミュレータの確率的前方探索方策は、事前コミットメントやドライバーの可用性を含む現実的なフリートダイナミクスを的確に捉えており、入札方策の厳密な評価を可能にした。