[論文レビュー] Resource Constrained Deep Reinforcement Learning

Abhinav Bhatia, Pradeep Varakantham+1 more|arXiv (Cornell University)|Dec 3, 2018

Traffic control and management被引用数 13

ひとこと要約

本論文は、組み合わせ的行動空間と階層的線形制約を伴うリソース制約付きの逐次的割り当て問題における深層強化学習を可能にするために、DDPGアルゴリズムの3つの新規拡張——制約付きプロジェクション（CP）、制約付きソフトマックス（CS）、近似最適レイヤー（ApprOpt）——を提案する。これらの手法は、緊急対応および自転車共有システムにおける現実の制約を効果的に処理でき、特に急増需要シナリオにおいてApprOptがベースラインを著しく上回る性能を発揮した。

ABSTRACT

In urban environments, supply resources have to be constantly matched to the "right" locations (where customer demand is present) so as to improve quality of life. For instance, ambulances have to be matched to base stations regularly so as to reduce response time for emergency incidents in EMS (Emergency Management Systems); vehicles (cars, bikes, scooters etc.) have to be matched to docking stations so as to reduce lost demand in shared mobility systems. Such problem domains are challenging owing to the demand uncertainty, combinatorial action spaces (due to allocation) and constraints on allocation of resources (e.g., total resources, minimum and maximum number of resources at locations and regions). Existing systems typically employ myopic and greedy optimization approaches to optimize allocation of supply resources to locations. Such approaches typically are unable to handle surges or variances in demand patterns well. Recent research has demonstrated the ability of Deep RL methods in adapting well to highly uncertain environments. However, existing Deep RL methods are unable to handle combinatorial action spaces and constraints on allocation of resources. To that end, we have developed three approaches on top of the well known actor critic approach, DDPG (Deep Deterministic Policy Gradient) that are able to handle constraints on resource allocation. More importantly, we demonstrate that they are able to outperform leading approaches on simulators validated on semi-real and real data sets.

研究の動機と目的

• 不確実な需要、組み合わせ的行動空間、リソース配分に厳密な制約が課される都市システムにおけるオンラインで逐次的なリソース割り当ての課題に対処すること。
• 特にDDPGのような深層強化学習手法を、総リソース制限、各場所における最小／最大割り当て、地域別制限といった複雑な現実の制約を扱えるように拡張すること。
• スケーラブルで効率的かつ制約を保証するアルゴリズムを構築し、動的で非定常な需要環境において、グリーディーやオフラインヒューリスティクスを上回ること。
• 緊急医療サービスおよび自転車共有システムから得た半実データおよび実データを用いた、現実的なシミュレータ上で提案手法の妥当性を検証すること。

提案手法

• 供給割り当て問題における階層的線形制約をモデル化するための形式的フレームワーク、すなわちリソース制約付き強化学習（ReCO-RL）を提唱する。
• 制約付きプロジェクション（CP）を導入：行動生成後に射影を用いた汎用的で近似的な制約適合メカニズムを提供し、損失関数にペナルティ項を組み込む。
• 制約付きソフトマックス（CS）を構築：微分可能でスケーラブルな方法であり、ソフトマックスベースの行動ヘッドにより制約を強制し、特定の条件下で制約を保証可能である。
• 近似最適レイヤー（ApprOpt）を提示：OptNetの高速で微分可能かつスケーラブルな代替手法であり、計算コストを低減しつつ正確な制約適合を実現する。
• 3つの手法をDDPGフレームワークに統合し、制約適合を保ちながらエンドツーエンドの学習を維持する。
• 訓練の安定化と収束の向上を図るため、報酬形状戦略とハイパーパramータチューニング（例：λ、C、適応係数）を採用する。

実験結果

リサーチクエスチョン

• RQ1 組み合わせ的行動空間と硬直的な制約を伴う大規模で現実的なリソース割り当て問題に、深層強化学習を効果的に適用できるか？
• RQ2 スケーラビリティや訓練安定性を損なわずに、深層決定的ポリシー勾配法における制約適合をどのように保証できるか？
• RQ3 CP、CS、ApprOptという提案手法は、変動する需要パターン下で性能、スケーラビリティ、制約適合精度の観点でどのように比較されるか？
• RQ4 RLベースの手法は、需要の急増やポisson分布でない需要ダイナミクスに対処する際、従来のグリーディーやオフラインヒューリスティクスをどの程度上回れるか？
• RQ5 提案手法は、半実データおよび実データの異なる分布に一般化できるか？

主な発見

• ポisson分布の需要を伴う緊急対応分野では、3つの提案手法（DDPG-CP、DDPG-CS、DDPG-ApprOpt）はすべてグリーディーベースラインと同等またはわずかに劣り、これは定常環境下で近似的に最適な性能であることを示している。
• 緊急対応分野における需要急増期には、DDPG-ApprOptがすべてのベースラインを著しく上回り、平均報酬353.20 ± 4.17を達成したのに対し、ベースラインは309.3であった。
• 実データを用いた自転車共有分野では、DDPG-CSが最も優れた性能を示し、平均スコア-59.14 ± 3.22を記録し、RTrailerベースラインおよび他のRL手法を上回った。
• DDPG-ApprOptは、複数のランダムシードおよびテストシナリオにわたり一貫して優れた性能を示し、最も優れた一般化能力と耐性を示した。
• 訓練データとは異なるデータを用いたテスト環境に対しても、提案手法は良好な一般化能力を示しており、強力な一般化能力を有することがわかった。
• ApprOptは、制約適合、スケーラビリティ、性能のバランスが最も良く、特に非定常的で分散の高い需要環境下で顕著な優位性を示した。