[論文レビュー] From Reinforcement Learning to Optimal Control: A unified framework for sequential decisions

Warren B. Powell|arXiv (Cornell University)|Dec 7, 2019

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本稿は、不確実性下における逐次意思決定問題を統一的に扱うフレームワークを提案する。15の異なる研究分野（確率的最適制御や強化学習を含む）を、4つの普遍的なポリシークラスの同定によって統合する。両分野が類似の問題を解決している一方で、強化学習は離散的MDPに根ざしているため範囲が限定されるが、本稿で提案するフレームワークは確率的制御にインspiredされており、多様な応用分野においてスケーラブルで柔軟なモデリングとポリシー設計を可能にする。

ABSTRACT

There are over 15 distinct communities that work in the general area of sequential decisions and information, often referred to as decisions under uncertainty or stochastic optimization. We focus on two of the most important fields: stochastic optimal control, with its roots in deterministic optimal control, and reinforcement learning, with its roots in Markov decision processes. Building on prior work, we describe a unified framework that covers all 15 different communities, and note the strong parallels with the modeling framework of stochastic optimal control. By contrast, we make the case that the modeling framework of reinforcement learning, inherited from discrete Markov decision processes, is quite limited. Our framework (and that of stochastic control) is based on the core problem of optimizing over policies. We describe four classes of policies that we claim are universal, and show that each of these two fields have, in their own way, evolved to include examples of each of these four classes.

研究の動機と目的

• 不確実性下での逐次的意思決定問題に取り組む15のコミュニティにわたる分断を是正すること。
• 確率的最適制御のモデリングフレームワークが、強化学習で用いられる離散的MDPに基づくフレームワークよりも、より柔軟かつスケーラブルであることを示すこと。
• 逐次的意思決定における既知のすべてのポリシー戦略を包含する4つの普遍的メタクラスのポリシーを特定・形式化すること。
• 確率的最適制御と強化学習の両方が、4つのポリシークラスを暗黙的または明示的に使用しているが、後者は基礎的な仮定によって制限されることを主張すること。
• 両分野の範囲を拡大し、それらの核心的問題が単一の一般化可能なモデリングフレームワークに包含されることを示すこと。

提案手法

• ポリシーの最適化に基づく普遍的モデリングフレームワークを提案。状態変数、意思決定、外生的情報、遷移関数を用いる。
• 状態ダイナミクス、情報構造、パフォーマンス指標を特徴とする確率的制御のモデリング言語を採用し、広く適用可能になるように調整する。
• 4つの普遍的ポリシークラスを導入：(1) ルックアップテーブル、(2) 価値関数近似（VFA）、(3) ポリシー関数近似（PFA）、(4) コスト関数近似（CFA）、パラメトリック形式を含む。
• 確率的最適制御と強化学習の両分野が、4つのポリシークラスすべての例を用いているが、強化学習のMDP基盤がその適用範囲を制限していることを示す。
• マルチエージェントエネルギーストレージ問題を用いて、本フレームワークの柔軟性とスケーラビリティを実世界の文脈で示す。
• フレームワークがモデルベースとモデルフリーの両方のアプローチを包含し、ハイブリッドポリシー設計を支援することを主張する。

実験結果

リサーチクエスチョン

• RQ1 不確実性下での逐次的意思決定に取り組む15のコミュニティをカバーする統一フレームワークをどのように構築できるか？
• RQ2 離散的マルコフ決定過程に根ざした強化学習のフレームワークは、なぜ現実の逐次的意思決定問題をモデル化するのに不十分なのか？
• RQ3 逐次的意思決定におけるすべての既知のポリシー戦略を表現できる4つの普遍的メタクラスのポリシーとは何か？
• RQ4 提案されたフレームワークは、確率的最適制御と強化学習の両分野の範囲を、それらの伝統的な問題領域を超えてどのように拡大するか？
• RQ5 複雑で確率的な環境において、パラメトリックコスト関数近似（CFA）は価値関数近似やルックアップルックアヘッドよりもどのような利点を提供するか？

主な発見

• 提案されたフレームワークは、不確実性下での逐次的意思決定に取り組む15のコミュニティすべてに普遍的に適用可能であり、伝統的な強化学習の狭い範囲をはるかに超える。
• 確率的最適制御のモデリングフレームワークは、強化学習で用いられる離散的MDPに基づくフレームワークよりも、はるかに柔軟かつスケーラブルであり、現実世界への適用可能性が制限されている。
• ルックアップテーブル、価値関数近似、ポリシー関数近似、コスト関数近似の4つのポリシークラスは、両分野のコミュニティが暗黙的または明示的に使用している。
• パラメトリックコスト関数近似（CFA）は、しばしばヒューリスティックと見なされがちだが、ドメイン知識を埋め込み、現実の確率的モデルで調整可能であるため、非常に効果的であり、単純化されたルックアヘッドを上回る性能を示す。
• フレームワークにより、各エージェントを独自の状態・意思決定・情報を持つシステムとして扱うことで、マルチエージェントシステムのモデリングが可能となり、グローバルなシステム状態の非現実的な仮定を回避する。
• 本稿は、強化学習という分野は、Q学習やディープRLに限らず、任意のポリシーを含む逐次的意思決定問題の一般的手法であるべきであり、それによって確率的最適制御と統一的な理論的枠組みの下に統合されることを結論づける。