[論文レビュー] Structured Evolution with Compact Architectures for Scalable Policy Optimization

Krzysztof Choromański, Mark Rowland+3 more|arXiv (Cornell University)|Apr 6, 2018

Stochastic Gradient Optimization Techniques被引用数 52

ひとこと要約

本論文は、直交 / Hadamard に基づく探索とコンパクトなポリシーアーキテクチャを用いた構造化進化戦略を導入し、微分不使用のポリシー最適化をスケーラブルにし、OpenAI Gym タスクで推論が高速な約300パラメータ程度の非常に小さなネットワークを達成します。

ABSTRACT

We present a new method of blackbox optimization via gradient approximation with the use of structured random orthogonal matrices, providing more accurate estimators than baselines and with provable theoretical guarantees. We show that this algorithm can be successfully applied to learn better quality compact policies than those using standard gradient estimation techniques. The compact policies we learn have several advantages over unstructured ones, including faster training algorithms and faster inference. These benefits are important when the policy is deployed on real hardware with limited resources. Further, compact policies provide more scalable architectures for derivative-free optimization (DFO) in high-dimensional spaces. We show that most robotics tasks from the OpenAI Gym can be solved using neural networks with less than 300 parameters, with almost linear time complexity of the inference phase, with up to 13x fewer parameters relative to the Evolution Strategies (ES) algorithm introduced by Salimans et al. (2017). We do not need heuristics such as fitness shaping to learn good quality policies, resulting in a simple and theoretically motivated training mechanism.

研究の動機と目的

• 確率的またはブラックボックス環境におけるポリシー探索のための微分不使用最適化を動機づける。
• 直交またはHadamardベースの構造化ランダム方向を用いて勾配推定を改善する。
• コンパクトなアーキテクチャを用いてポリシーのパラメータ次元を削減し、学習と推論を高速化する。
• ロボティクスのベンチマークやOpenAI Gymタスクへのスケーラビリティと適用性を実証する。

提案手法

• 目的関数Fをガウス平滑化してFσ(θ)を形成し、モンテカルロ勾配で∇Fσ(θ)を推定する。
• ∇Fσ(θ)のために、バニラES、対称（アンチティティック）ES、前方有限差分ES推定量を比較する。
• 構造化探索を導入する: (i) 探索のためのガウス直交方向; (ii) Hadamard-Rademacher 行列による離散直交探索; (iii) 準モンテカルロ探索; これらが iid方向と比較してMSEを低減することを示す。
• パラメータを共有し推論を高速化するため、Toeplitz行列（および関連の低変位行列）を用いたコンパクトなポリシーネットワークを提案する。
• 多くのワーカでスケールさせつつ低い通信量を維持する分散実装を説明する。
• 構造化探索とコンパクトなポリシーにより、はるかに少ないパラメータで競争力のあるまたは優れたRL性能を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 直交またはHadamardベースの方向を用いた構造化探索は、微分なし最適化においてiidガウス方向と比較して勾配推定量の分散を低減するか？
• RQ2 Toeplitz・低変位行列などのコンパクトなポリシーアーキテクチャは、パラメータ数を大幅に削減しつつ、ポリシーの品質を維持または向上できるか？
• RQ3 OpenAI Gym MuJoCoタスクにおける構造化探索戦略のパフォーマンスは、非構造化ES法と比較して学習速度と最終報酬の点でどうか？
• RQ4 標準的な微分なし手法と比較した場合、分散構造化ES実装の計算コストと通信コストはどの程度か？

主な発見

• 構造化探索方式は、対応する対称iid推定量より平均二乗誤差を低くし、勾配推定を改善する。
• 直交およびHadamardベースの探索は、iid方向より分散を大幅に低減し、最適化性能を向上させる。
• Toeplitzなどの構造を持つコンパクトなポリシーは、非構造化ベースラインに比べて最大で約13倍少ないパラメータで同等またはそれ以上の性能を達成できる。
• ほとんどのMuJoCo OpenAI Gymタスクは、300パラメータ未満のネットワークで解決可能で、推論時間はほぼ線形である。
• 構造化勾配推定は、多数のワーカーを用いた分散学習で競争力のある結果を達成し、総計算量と通信オーバーヘッドを低減する。
• いくつかのタスクで、構造化ポリシーは非構造化ポリシーを上回り、非構造化のフルネットワークが構造化されたコンパクトなアーキテクチャに勝つことはほとんどなかった。