[論文レビュー] Average Reward Adjusted Discounted Reinforcement Learning: Near-Blackwell-Optimal Policies for Real-World Applications

Manuel Schneckenreither|arXiv (Cornell University)|Apr 2, 2020

Reinforcement Learning in Robotics参考文献 38被引用数 6

ひとこと要約

本稿では、非反復的で現実世界の運用研究問題において持続的な非ゼロ報酬を伴う状況で、近似ブラックウェル最適方策を達成するために、平均報酬推定と割引価値学習を分離するAverage Reward Adjusted Discounted Reinforcement Learning (ARA-DRL)という新しいアルゴリズムを提案する。標準の割引強化学習とは異なり、ARA-DRLは割引価値のローラン級数展開を用いることで、価値関数の不整合を回避する。M/M/1の受入制御問題において、Q学習や標準的な強化学習よりも優れており、安定した平均報酬を伴い、最適方策を一貫して推定する。

ABSTRACT

Although in recent years reinforcement learning has become very popular the number of successful applications to different kinds of operations research problems is rather scarce. Reinforcement learning is based on the well-studied dynamic programming technique and thus also aims at finding the best stationary policy for a given Markov Decision Process, but in contrast does not require any model knowledge. The policy is assessed solely on consecutive states (or state-action pairs), which are observed while an agent explores the solution space. The contributions of this paper are manifold. First we provide deep theoretical insights to the widely applied standard discounted reinforcement learning framework, which give rise to the understanding of why these algorithms are inappropriate when permanently provided with non-zero rewards, such as costs or profit. Second, we establish a novel near-Blackwell-optimal reinforcement learning algorithm. In contrary to former method it assesses the average reward per step separately and thus prevents the incautious combination of different types of state values. Thereby, the Laurent Series expansion of the discounted state values forms the foundation for this development and also provides the connection between the two approaches. Finally, we prove the viability of our algorithm on a challenging problem set, which includes a well-studied M/M/1 admission control queuing system. In contrast to standard discounted reinforcement learning our algorithm infers the optimal policy on all tested problems. The insights are that in the operations research domain machine learning techniques have to be adapted and advanced to successfully apply these methods in our settings.

研究の動機と目的

• 持続的な非ゼロ報酬（コストや利益など）を伴う現実世界の運用研究問題において、標準の割引強化学習がなぜ失敗するのかを特定すること。
• 価値関数の不整合を回避するため、平均報酬と割引価値の分離に基づく理論的根拠を持つ強化学習アルゴリズムを開発すること。
• 特にM/M/1キューイングシステムを含む、挑戦的で反復的でない意思決定問題において、提案手法を実証的に検証すること。
• 標準的な強化学習が失敗する状況、特に非ゼロ平均報酬条件下で、ARA-DRLが近似ブラックウェル最適方策を達成できることを示すこと。
• 階層的サプライチェーンおよび生産計画システムに適応可能な理論的裏付けが強く、計算的にも効率的な強化学習フレームワークを提供すること。

提案手法

• 本手法は、平均報酬推定と割引価値学習を分離する新しいアルゴリズム、Average Reward Adjusted Discounted Reinforcement Learning (ARA-DRL) を導入する。
• 割引状態価値のローラン級数展開を用いて、平均報酬成分と一時的割引価値成分を解析的に分離する。
• ARA-DRLは、長期的平均報酬を推定するプロセスと、割引状態行動価値を更新するプロセスの2つの別々の学習プロセスを維持する。
• 推定された平均報酬に基づいて、割引価値関数を調整する修正された更新ルールを適用し、誤った価値伝搬を防ぐ。
• 学習率の徐々の減少と、適応的εを用いたε-greedy探索を採用し、学習と方策収束の安定性を向上させる。
• 表形式のQ学習スタイルの更新を用いて実装され、既知の最適方策を持つ有名なM/M/1受入制御問題で検証された。

実験結果

リサーチクエスチョン

• RQ1 持続的な非ゼロ報酬（利益やコスト関数など）を伴う運用研究問題において、なぜ標準の割引強化学習が失敗するのか？
• RQ2 明示的に平均報酬成分をモデル化することで、近似ブラックウェル最適性を達成できる強化学習アルゴリズムを設計できるか？
• RQ3 平均報酬推定と割引価値学習を分離することで、反復的でない環境における方策の安定性と収束性がどのように向上するのか？
• RQ4 実世界の運用研究問題において、ARA-DRLは報酬蓄積量と方策の正確性の点で、標準的なQ学習や割引強化学習をどの程度上回るのか？
• RQ5 平均報酬推定の安定性が、ARA-DRLアルゴリズムの収束性と性能に果たす役割は何か？

主な発見

• γ₁ = 1.0およびγ₁ = 0.999のARA-DRLは、M/M/1受入制御システムにおけるブラックウェル最適方策（3ジョブの受入）を成功裏に推定し、1ステップあたりの平均報酬がそれぞれ29.965および30.272に達した。
• γ₁ = 0.999およびγ₁ = 1.0のARA-DRLが、最適解と一致する1.12の平均キュー長を達成した。これにより、方策の最適性が裏付けられた。
• γ₁ = 0.99、0.999、0.5を用いた標準Q学習は、最適に近い方策でさえも見つけることができず、平均報酬は33未満、平均キュー長は0.2未塔に留まった。
• εに依存する行動選択でさえ、Q学習はブラックウェル最適方策（3ジョブの受入）に到達できず、非ゼロ平均報酬環境下での限界が顕著に現れた。
• ARA-DRLのハイパーパrameterチューニング（例：学習率の減少率を0.8に増加）により、安定性が向上し、ε ≤ 1の状態を維持しながら最適方策の推定が可能になった。
• フリードマン検定により、平均報酬および平均キュー長の帰無仮説は棄却された（p < 3.399e-32およびp < 2.223e-35）。これにより、ARA-DRLの優位性が統計的に有意であることが確認された。