[論文レビュー] Contrasting Exploration in Parameter and Action Space: A Zeroth-Order Optimization Perspective

Anirudh Vemula, Wen Sun+1 more|arXiv (Cornell University)|Jan 31, 2019

Evolutionary Algorithms and Applications被引用数 16

ひとこと要約

この論文は、ゼロ次順序最適化理論を用いて強化学習におけるパラメータ空間探索とアクション空間探索を比較する。理論的に、パラメータ空間手法は方策パラメータの次元dに依存してスケーリングするが、アクション空間手法はアクション次元pとホライズンHに依存する。主な発見は、低次元のパラメータを持つ長ホライズンタスクではパラメータ空間手法がアクション空間手法を上回るが、短ホライズンまたは高次元パラメータ設定ではアクション空間手法が優れるということである。

ABSTRACT

Black-box optimizers that explore in parameter space have often been shown to outperform more sophisticated action space exploration methods developed specifically for the reinforcement learning problem. We examine these black-box methods closely to identify situations in which they are worse than action space exploration methods and those in which they are superior. Through simple theoretical analyses, we prove that complexity of exploration in parameter space depends on the dimensionality of parameter space, while complexity of exploration in action space depends on both the dimensionality of action space and horizon length. This is also demonstrated empirically by comparing simple exploration methods on several model problems, including Contextual Bandit, Linear Regression and Reinforcement Learning in continuous control.

研究の動機と目的

• ブラックボックスによるパラメータ空間最適化が、強化学習におけるアクション空間探索をいつ上回るかを理解すること。
• ゼロ次順序最適化理論を用いて、両方の探索戦略のサンプル複雑度を分析すること。
• 高分散にもかかわらずアクション空間手法が優れる条件を特定すること。
• ARSのような手法が長ホライズン制御タスクで実験的に成功する理由を理論的・実験的に裏付けること。
• 環境の確率的要因がゼロ次順序方策探索の収束速度に与える影響を明確にすること。

提案手法

• ゼロ次順序最適化理論を用いて、パラメータ空間およびアクション空間探索の理論的サンプル複雑度バウンドを導出する。
• サンプル複雑度を比較するため、部分的フィードバックを伴うオンライン線形回帰という1ステップのコンテキストバンドイット問題を分析する。
• 非凸ゼロ次順序最適化を用いてマルチステップ制御に拡張し、定常点への収束バウンドを導出する。
• スイマーとハーフチーター環境でARS（パラメータ空間）とExAct（アクション空間）を、ホライズン長さを変化させながら実験的に評価する。
• 既知の勾配を持つ確率的LQR環境を用いて、環境の確率的要因が収束に与える影響をテストする。
• 次元、ホライズン、ノイズの変化を制御した条件下で、各手法の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 強化学習におけるパラメータ空間探索がアクション空間探索をいつ上回るのか。
• RQ2 パラメータ空間手法のサンプル複雑度は、方策パラメータ次元dに対してどのようにスケーリングされるか。
• RQ3 アクション空間手法のサンプル複雑度は、アクション次元pとホライズンHにどのように依存するか。
• RQ4 環境の確率的要因は、ゼロ次順序方策探索の収束速度にどのような影響を与えるか。
• RQ5 なぜ単純なブラックボックス手法（例：ARS）が長ホライズンベンチマークで洗練されたアクタクリティック手法を上回るのか。

主な発見

• パラメータ空間探索は、定常点からϵ以内に到達するためにはO(d²/ϵ³)のサンプルが必要であり、ここでdは方策パラメータ次元である。
• アクション空間探索は、O(p²H⁴/ϵ⁴)のサンプルを必要とし、ホライズンHとアクション次元pに明示的な依存があることが示された。
• 高次元dの短ホライズンタスクでは、dに依存しないことから、アクション空間手法がパラメータ空間手法を上回る。
• 低次元dの長ホライズンタスクでは、H依存性がないため、パラメータ空間手法がアクション空間手法を上回る。
• 環境の確率的要因が高まると、両手法の収束が遅くなり、ノイズが大きいほど定常点に到達するためのサンプル数が多くなる。
• スイマーとハーフチーターにおける実験結果は理論的予測を確認しており、ホライズンHが100を超えるとARS（パラメータ空間）がExAct（アクション空間）を上回る。