[論文レビュー] Reinforcement Learning with Function-Valued Action Spaces for Partial Differential Equation Control

Yangchen Pan, Amir‐massoud Farahmand+4 more|arXiv (Cornell University)|Jun 13, 2018

Reinforcement Learning in Robotics参考文献 38被引用数 5

ひとこと要約

本稿では、偏微分方程式（PDE）制御における関数値をとる行動空間を想定した強化学習を可能にするために、行動記述子を導入する。これにより、高次元で空間的に構造化された行動の上での効率的な学習が可能になる。空間的規則性を符号化することで、従来の強化学習手法が無視する空間的相関を明示的にモデル化し、行動次元が最大200次元に達するPDE制御タスクにおいて、より優れた性能と高いサンプル効率を達成する。

ABSTRACT

Recent work has shown that reinforcement learning (RL) is a promising approach to control dynamical systems described by partial differential equations (PDE). This paper shows how to use RL to tackle more general PDE control problems that have continuous high-dimensional action spaces with spatial relationship among action dimensions. In particular, we propose the concept of action descriptors, which encode regularities among spatially-extended action dimensions and enable the agent to control high-dimensional action PDEs. We provide theoretical evidence suggesting that this approach can be more sample efficient compared to a conventional approach that treats each action dimension separately and does not explicitly exploit the spatial regularity of the action space. The action descriptor approach is then used within the deep deterministic policy gradient algorithm. Experiments on two PDE control problems, with up to 256-dimensional continuous actions, show the advantage of the proposed approach over the conventional one.

研究の動機と目的

• 強化学習における高次元で連続的かつ関数値をとる行動空間を有する偏微分方程式（PDE）の制御という課題に対処すること。
• 行動次元間の空間的規則性を明示的にモデル化することで、従来の強化学習手法が無視する点を補い、サンプル効率を向上させること。
• 行動次元の増加に対してもアーキテクチャの不変性を保つスケーラブルなディープ強化学習フレームワークを構築すること。
• 複雑な空間的ダイナミクスを示す実際のPDE制御問題において、行動記述子の有効性を実証すること。

提案手法

• 行動記述子を提案する。これは行動次元間の空間的関係を符号化する行動のパラメータライゼーションであり、高次元の行動空間における一般化を可能にする。
• 行動記述子をDeep Deterministic Policy Gradient（DDPG）アルゴリズムに統合し、方策ネットワークが原始的な行動の代わりに記述子を出力できるようにする。
• 出力次元が必要な行動次元より小さい場合でも、実行可能な行動へのマッピングが可能な微分可能アダプタ関数を用いる。
• 行動次元が増加してもサイズが変わらない固定されたニューラルネットワークアーキテクチャを採用し、記述子を学習可能で空間的に構造化されたパラメータとして用いる。
• 連続的な空間的行動空間を有するPDE制御問題、例えば分散空調機を備えた部屋の温度制御などに本フレームワークを適用する。
• 高い温度と行動コストをペナルティとする報酬関数を用い、温度しきい値と正規化を施して安定した学習を確保する。

実験結果

リサーチクエスチョン

• RQ1 行動記述子は、高次元の行動空間を有するPDE制御の強化学習において、サンプル効率を向上させることができるか？
• RQ2 空間的に拡張された行動を有するPDEを制御する際、提案手法は標準的なDDPGと比較してどのように性能を発揮するか？
• RQ3 空間的に構造化された行動記述子の使用は、PDE制御タスクにおけるより優れた一般化性能とより速い収束をもたらすか？
• RQ4 行動次元が非常に高次元（例：200次元）に達する場合、本手法はアーキテクチャの変更なしにどの程度スケーラブルに拡張可能か？
• RQ5 本手法は、行動次元や制御アクチュエータの空間的レイアウトの変化に対して、頑健であるか？

主な発見

• Heat Invader環境において、すべてのテストされた行動次元（1, 25, 50, 100, 200）において、行動記述子手法は標準的なDDPGよりも顕著に高い平均累積報酬を達成した。
• 200次元の行動を有する状況では、行動記述子手法は標準的なDDPGを大幅に上回り、優れたサンプル効率と方策品質を示した。
• 1次元の行動出力のみを有しても、記述子を用いた手法は標準的なDDPGを上回った。これは、記述子ベースの表現が、低次元の制御分解能であっても効果的な制御を可能にするという点で、顕著な表現的優位性を示している。
• 本手法は安定した学習曲線を維持し、特に方策が不要なファンの起動を避けるよう学習を進めるに従い、一貫した改善を示した。
• 均一な空気流れと渦巻き空気流れの両方の実験から、行動記述子手法が異なる物理的ダイナミクスや制御メカニズムに一般化できることを確認した。
• 1次元行動における sanity check において、標準的なDDPGは制御分解能が不足しているため良い方策を学習できなかったが、記述子ベース手法は依然として成功を収めた。これは、本手法の表現的優位性を強く示している。