[論文レビュー] ORL: Reinforcement Learning Benchmarks for Online Stochastic Optimization Problems

Bharathan Balaji, Jordan Bell-Masterson+8 more|arXiv (Cornell University)|Nov 24, 2019

Optimization and Search Problems参考文献 32被引用数 22

ひとこと要約

本稿では、ナップサック問題、新聞売り、車両ルーティングを含むオンライン確率的最適化問題における強化学習のベンチマークスイートであるORLを紹介する。最小限のハイパーパrameterチューニングとシンプルなニューラルネットワークを用いた標準的な強化学習アルゴリズムにより、著者らは、3つの問題すべてにおいて、既存のベースラインと同等またはそれを上回る性能を示すポリシーを訓練した。これは、強化学習が現実の動的リソース割り当てに強く適している可能性を示している。

ABSTRACT

Reinforcement Learning (RL) has achieved state-of-the-art results in domains such as robotics and games. We build on this previous work by applying RL algorithms to a selection of canonical online stochastic optimization problems with a range of practical applications: Bin Packing, Newsvendor, and Vehicle Routing. While there is a nascent literature that applies RL to these problems, there are no commonly accepted benchmarks which can be used to compare proposed approaches rigorously in terms of performance, scale, or generalizability. This paper aims to fill that gap. For each problem we apply both standard approaches as well as newer RL algorithms and analyze results. In each case, the performance of the trained RL policy is competitive with or superior to the corresponding baselines, while not requiring much in the way of domain knowledge. This highlights the potential of RL in real-world dynamic resource allocation problems.

研究の動機と目的

• オンライン確率的最適化問題における強化学習アプローチを評価するための標準化されたベンチマークの不足に対処すること。
• 異なる問題インスタンスやスケール間で強化学習アルゴリズムを公平かつ再現可能に比較できる評価フレームワークを確立すること。
• ドメイン特化の工学的設計を一切行わず、出荷時から使える強化学習アルゴリズムが、代表的な動的リソース割り当て問題で競争的または優れた性能を発揮できることを示すこと。
• OpenAI GymおよびRLlib経由で環境をオープンソース化することで、将来の研究を可能にすること。問題の複雑さを設定可能にすること。
• 特に大規模な車両ルーティングのような複雑な設定において、未観測の分布や問題サイズへの一般化性能を評価すること。

提案手法

• ナップサック問題、新鮮品販売問題、車両ルーティング問題を、状態、行動、報酬のコンponentsを持つマークフ・意思決定過程（MDP）として形式化する。
• 状態空間には、アイテムのサイズ、ボックスの使用率、車両の状態（例：位置、積載量、時刻）を含め、行動空間には、パッケージング意思決定またはルーティング選択を含める。
• ナップサック問題および車両ルーティングでは、負の累積的無駄を報酬信号として使用し、新鮮品販売問題では、過剰・不足在庫のペナルティを反映するコストベースの報酬を定義する。
• すべての環境をOpenAI Gymインタフェースで実装し、スケーラブルな学習とハイパーパrameterチューニングのためRLlibに統合する。
• 2層の順方向ニューラルネットワークを用いて、問題特化の報酬形状付けやアーキテクチャの変更なしに、標準的な深層強化学習アルゴリズム（例：PPO、SAC）を訓練する。
• 問題の複雑さ（例：ボックスサイズ、アイテムタイプ数、マップサイズ、注文数）をパラメータ化することで、異なるスケールや分布間での公平な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化の報酬設計なしに、出荷時から使える深層強化学習アルゴリズムが、代表的なオンライン確率的最適化問題で競争的または優れた性能を発揮できるか？
• RQ2 特に未観測のシナリオにおいて、強化学習ポリシーの性能が異なる問題サイズや入力分布に一般化するか？
• RQ3 動的環境におけるリソース利用効率とコスト最小化の観点から、強化学習ポリシーが従来のヒューリスティックベースラインをどの程度上回るか？
• RQ4 大規模な車両ルーティングのような環境において、問題の複雑さが増加するに従い、学習時間と収束行動はどのようにスケーリングするか？
• RQ5 制約付き最適化タスクにおいて、行動マスクと制約の強制が、ポリシーの妥当性と性能向上に果たす役割は何か？

主な発見

• ナップサック問題において、強化学習ポリシーは、3つの分布タイプ（線形無駄、完全パッケージング可能、無駄の上限あり）すべてにおいて、最小限のハイパーパrameterチューニングでベースラインと同等または優れた性能を示した。
• 新鮮品販売問題において、強化学習ポリシーは、特に分布が未知の確率的需要下で、期待コストの観点から古典的な最適ポリシーと同等または上回った。
• 車両ルーティング問題において、5×5および8×8マップのシナリオで、5～10件の注文に対して、強化学習ポリシーはベースラインのMIPソルバーを上回った。平均報酬が著しく高く（例：5件の注文、2か所のピックアップ地点で854.45 vs. 640.01）、シフトされた需要分布への一貫性ある一般化を示した。
• 強化学習エージェントは、ペナルティを引き起こす高リスクの注文の受入を避け、ピックアップ地点の数が増えるに従い、時間経過とともに注文の見逃し率を低下させた。
• 3日間の学習後でさえ、大きなインスタンス（例：8×8マップ、5件の注文）のポリシーは改善を続けており、より長い学習がさらなる性能向上をもたらす可能性があることが示され、過学習はまだ観察されていなかった。
• 報酬関数に注文の見逃しペナルティを組み込むことで、ポリシー行動に顕著な影響が生じた。特に複雑なインスタンスでは、性能差が顕著に現れ、エージェントが配達の信頼性を優先するように学習したことが示唆された。