[論文レビュー] Same-Day Delivery with Fairness

Xinwei Chen, Tong Wang+2 more|arXiv (Cornell University)|Jul 19, 2020

Transportation and Mobility Innovations参考文献 20被引用数 12

ひとこと要約

本稿では、全体のサービス効用と地理的公平性（地域別サービス率の最小値）のバランスを取ることで、同じ日配達（SDD）サービスを最適化する深層Q学習手法を提案する。率ベースからインクリメンタルサービス単位ベースへの学習への新規変換を導入することで、訓練の安定性が向上し、最小地域サービス率を5%から46%に引き上げた際の効用損失はたった6.2%にとどまる。

ABSTRACT

The demand for same-day delivery (SDD) has increased rapidly in the last few years and has particularly boomed during the COVID-19 pandemic. The fast growth is not without its challenge. In 2016, due to low concentrations of memberships and far distance from the depot, certain minority neighborhoods were excluded from receiving Amazon's SDD service, raising concerns about fairness. In this paper, we study the problem of offering fair SDD-service to customers. The service area is partitioned into different regions. Over the course of a day, customers request for SDD service, and the timing of requests and delivery locations are not known in advance. The dispatcher dynamically assigns vehicles to make deliveries to accepted customers before their delivery deadline. In addition to the overall service rate (utility), we maximize the minimal regional service rate across all regions (fairness). We model the problem as a multi-objective Markov decision process and develop a deep Q-learning solution approach. We introduce a novel transformation of learning from rates to actual services, which creates a stable and efficient learning process. Computational results demonstrate the effectiveness of our approach in alleviating unfairness both spatially and temporally in different customer geographies. We also show this effectiveness is valid with different depot locations, providing businesses with an opportunity to achieve better fairness from any location. Further, we consider the impact of ignoring fairness in service, and results show that our policies eventually outperform the utility-driven baseline when customers have a high expectation on service level.

研究の動機と目的

• アマゾンがマイノリティ居住地域を、加盟密度が低く、拠点からの距離が遠いために除外するなど、同一日配達（SDD）サービスにおける空間的不平等の増大する懸念に応える。
• 全体のサービス率（効用）と最小地域サービス率（公平性）の両方を最大化する多目的SDD問題を定式化し、異なる地理的地域における均等なアクセスを保証する。
• 時間的な再最適化が煩雑になるのを避けるスケーラブルでリアルタイムの意思決定フレームワークを構築し、時間変動する顧客要請のもとでの動的車両ルーティングをサポートする。
• 率ベースの目的関数での訓練の不安定性を克服するため、分母が変化する率の最適化ではなく、インクリメンタルサービス単位を用いた新たな変換を導入することで、安定したかつ効率的な深層強化学習を可能にする。

提案手法

• 期待される全体のサービス率と最小地域サービス率の重み付き組み合わせを用いて、多目的SDD問題をマルコフ決定過程（MDP）としてモデル化する。
• 深層Q学習を用い、ニューラルネットワークでQ値を近似することで、再最適化なしにオフラインでのポリシー学習とリアルタイム推論を可能にする。
• 目的関数の新規変換を導入：分母が変化する率の最適化ではなく、インクリメンタルサービス単位の最適化により、学習の安定性が向上し収束性が向上する。
• 現在の車両位置、保留中のリクエスト、時刻、地域の需要パターンを捉える動的情報を含む状態表現を定義する。
• 利用可能リクエスト数（効用）と低地域サービス率に対するペナルティ（公平性）を組み合わせた報酬関数を用い、調整可能なトレードオフ重みを導入する。
• 異なる拠点配置と需要分布を持つ合成的および現実的な顧客の地理的配置を用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのアプローチは、リアルタイム性能を犠牲にすることなく、同一日配達における効用と公平性を効果的にバランスさせることができるか？
• RQ2 率ベースからインクリメンタルサービスベースへの学習への変換が、直接的な率最適化と比較して、訓練の安定性とポリシー性能にどのように寄与するか？
• RQ3 本手法は、多様な顧客の地理的背景におけるSDDサービスの可用性における空間的・時間的不公平をどの程度低減できるか？
• RQ4 特に、顧客がサービス可用性に高い期待を寄せている状況下で、公平性を無視した場合のSDDサービス設計に及ぼす長期的影響は何か？
• RQ5 本手法は、既存または最適でない拠点配置における公平性と効用のトレードオフに、どのように影響を及ぼすか？

主な発見

• 提案手法は、異なる地理的背景におけるSDDサービス配達の不公平性を低減し、全体の効用の損失がたった6.2%である一方で、最小地域サービス率を46%まで引き上げることに成功した。
• 顧客のサービス水準に対する期待が高い場合（例：70%の閾値）、公平性を考慮したポリシーは、長期的な視点で見ると、効用のみを最適化するベースラインよりも公平性と全体の効用の両面で優れた性能を示した。
• 公平性トレードオフパラメータα=0.5のポリシーは、1年間のシミュレーション期間にわたり安定した性能を維持したが、効用のみのベースラインは、サービスが不足している地域で顧客を失い、性能が低下した。
• 公平性を考慮したポリシーは、すべての地域、特に低需要または遠隔地において高いサービス水準を維持し、より高いサービス水準の期待に達するまで性能の低下を遅らせる。
• 本手法により、物理的な拠点移転なしに、既存の拠点配置から公平性の高いサービスを実現できるため、物理的拠点再配置に比べて公平性のコストを削減できる。
• 公平性を無視すると、顧客がサービスが不足している地域で疎外され、長期的には収益の損失を被ることになるが、短期的には高い効用が得られる場合がある。