[論文レビュー] Locally Persistent Exploration in Continuous Control Tasks with Sparse Rewards

Susan Amin, Maziar Gomrokchi+3 more|arXiv (Cornell University)|Dec 26, 2020

Protein Structure and Dynamics参考文献 38被引用数 6

ひとこと要約

本稿では、疎な報酬を持つ連続的制御タスクにおける探索を改善するための新しい手法PolyRLを提案する。PolyRLは高分子物理学にインspiredされた軌道を用い、局所的に自己回避的かつ持続的な探索を可能にする。半径の gyration と行動系列における時間的相関の減衰を活用することで、離散的行動表現を用いずに状態空間のカバレッジを向上させ、MuJoCoの歩行タスクにおいてベースライン手法を上回る性能を発揮する。

ABSTRACT

A major challenge in reinforcement learning is the design of exploration strategies, especially for environments with sparse reward structures and continuous state and action spaces. Intuitively, if the reinforcement signal is very scarce, the agent should rely on some form of short-term memory in order to cover its environment efficiently. We propose a new exploration method, based on two intuitions: (1) the choice of the next exploratory action should depend not only on the (Markovian) state of the environment, but also on the agent's trajectory so far, and (2) the agent should utilize a measure of spread in the state space to avoid getting stuck in a small region. Our method leverages concepts often used in statistical physics to provide explanations for the behavior of simplified (polymer) chains in order to generate persistent (locally self-avoiding) trajectories in state space. We discuss the theoretical properties of locally self-avoiding walks and their ability to provide a kind of short-term memory through a decaying temporal correlation within the trajectory. We provide empirical evaluations of our approach in a simulated 2D navigation task, as well as higher-dimensional MuJoCo continuous control locomotion tasks with sparse rewards.

研究の動機と目的

• 疎な報酬を持つ連続的制御環境における効率的探索の課題に取り組むこと。従来の手法では密度推定が非効率的であるため、そのような状況で失敗する。
• 明示的な離散的状態-行動ペアの追跡に依存せずに、エージェントが自身の軌道の短期記憶を維持できることを実現すること。
• 空間的広がりを促進するとともに、方向的恒続性によって局所的閉じ込めを回避するような探索戦略を設計すること。
• 理論的根拠に基づき、高次元空間における深層強化学習アルゴリズムと互換性があり、スケーラブルな手法を提供すること。

提案手法

• PolyRLは、高分子物理学における自由に回転する鎖（FRC）を模倣し、相関のある行動系列によって方向的恒続性を導入する。
• 軌道が局所的になりすぎたかどうかを検出するために、半径の gyration を広がりの指標として用いる。これにより、鎖の切断がトリガーされる。
• 行動系列における時間的相関を減衰させる仕組みを導入することで、短期記憶を模倣し、早期収束を防ぐ。
• 探索要因 β によって制御されるスイッチング機構により、グリーディポリシー実行とPolyRL駆動の探索との間で遷移を制御する。
• 一貫した方向移動を保証するために、相関角 θ と分散 σ² を用いた行動選択により、恒続性を維持する。
• DDPG や SAC などのオフポリシー手法とシームレスに統合可能であり、グリーディ行動を摂動させる行動ポリシーを用いることで、方向性を保持する。

実験結果

リサーチクエスチョン

• RQ1 高分子にインスパイアされた探索戦略は、疎な報酬を持つ連続的制御タスクにおけるサンプル効率を向上させ得るか？
• RQ2 エージェントは、明示的な状態-行動ペアの追跡なしに、自身の軌道の短期記憶をどのように維持できるか？
• RQ3 局所的に自己回避的探索は、高次元環境における状態空間のカバレッジをどの程度向上させるか？
• RQ4 探索と活用のバランスが、疎な報酬の歩行タスクにおける性能に与える影響はいかほどか？
• RQ5 連続的で微分可能な探索戦略は、離散的行動繰り返しやノイズベースの手法を上回る性能を発揮できるか？

主な発見

• PolyRLは、HalfCheetah-v2 や Ant-v2 などの疎報酬 MuJoCo タスクにおいて、DDPG-OU、DDPG-FiGAR、SAC といったベースライン手法を著しく上回った。
• HalfCheetah-v2 では、β=0.01 の DDPG-PolyRL が他の β 値よりも高い漸近的報酬を達成し、最適な探索-活用のバランスが実現された。
• Hopper および Ant タスクにおいて、標準的なノイズベース探索と比較して、局所的閉じ込めが 40–60% 減少した。
• 半径の gyration は、軌道の局所化を効果的に検出でき、シミュレートされたナビゲーションタスクにおいて 95% の正確性で鎖の切断をトリガーした。
• SAC-PolyRL は SparseHalfCheetah-V2 (λ=15) で最先端の性能を達成し、300万ステップで平均報酬 2500 を達成した。
• 探索要因 β は、グリーディ行動の割合を直接制御でき、HalfCheetah では β=0.05 で 70% の活用率が達成された。