[論文レビュー] Time Discretization-Invariant Safe Action Repetition for Policy Gradient Methods

Seohong Park, Jaekyeom Kim+1 more|arXiv (Cornell University)|Nov 6, 2021

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、状態空間内の学習済みの安全領域内で持続的な行動を実行できるようにする、時間離散化に不変な方策勾配（PG）アルゴリズムのための Safe Action Repetition（SAR）を提案する。エージェントが安全領域を離脱すると行動の繰り返しを停止することで、確率的ノイズに対して強い耐性を示し、さまざまな時間スケール δ においても性能を維持する。8つの MuJoCo 環境において、決定論的および確率的設定の両方で、先行する δ 不変手法を上回る性能を発揮する。

ABSTRACT

In reinforcement learning, continuous time is often discretized by a time scale $δ$, to which the resulting performance is known to be highly sensitive. In this work, we seek to find a $δ$-invariant algorithm for policy gradient (PG) methods, which performs well regardless of the value of $δ$. We first identify the underlying reasons that cause PG methods to fail as $δ o 0$, proving that the variance of the PG estimator can diverge to infinity in stochastic environments under a certain assumption of stochasticity. While durative actions or action repetition can be employed to have $δ$-invariance, previous action repetition methods cannot immediately react to unexpected situations in stochastic environments. We thus propose a novel $δ$-invariant method named Safe Action Repetition (SAR) applicable to any existing PG algorithm. SAR can handle the stochasticity of environments by adaptively reacting to changes in states during action repetition. We empirically show that our method is not only $δ$-invariant but also robust to stochasticity, outperforming previous $δ$-invariant approaches on eight MuJoCo environments with both deterministic and stochastic settings. Our code is available at https://vision.snu.ac.kr/projects/sar.

研究の動機と目的

• 時間離散化スケール δ に敏感な方策勾配法の問題を解決すること。δ→0 に近づくと勾配分散の爆発と探索の制限により性能が低下する。
• 固定された繰り返し周期を持つ従来の行動繰り返し手法の限界を克服すること。これは、確率的環境における予期せぬ出来事への反応が不可能であるためである。
• PPO や TRPO、A2C などの既存の PG アルゴリズムと互換性があり、無限の訓練ステップや勾配へのアクセスを必要としない、一般化可能で即時適用可能な手法を開発すること。
• エージェントが状態空間内の学習済みの安全領域から離脱した際に行動繰り返しを動的に終了させることで、環境の確率的ノイズに対して耐性を高めること。
• 実験的に、提案手法が広い範囲の δ 値で性能を維持し、決定論的および確率的 MuJoCo 環境において、既存の δ 不変ベースラインを上回ることを検証すること。

提案手法

• SAR は、PG アルゴリズムを拡張し、参照状態からの距離関数を用いて定義される安全領域内での行動繰り返しを学習する。
• 安全領域は、状態次元を正規化する距離関数を用いて学習され、スケール不変性を確保し、異なる環境間で一貫した挙動を実現する。
• エージェントの状態が安全領域を離脱すると、直ちに行動繰り返しが停止する。これにより、環境の予期せぬ変化や摂動に対しても迅速な反応が可能になる。
• 本手法は任意の PG アルゴリズムと互換性があり、ポリシー出力を行動と安全領域パラメータの両方を含む形に変更することで、スムーズに統合できる。
• 安全領域の定義に、すべての環境で $ d_{\text{max}} = 0.5 $ の距離しきい値を用いる。繰り返し中は、通常の PG 目的関数に従い、報酬のリターン計算を修正して訓練を行う。
• 意思決定の頻度と行動持続時間の分離により、δ 不変性を実現し、時間刻み δ に関係なく安定した性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 なぜ方策勾配法は時間離散化スケール δ が 0 に近づくと失敗するのか。性能低下の背後にある根本的要因は何か。
• RQ2 連続制御環境における確率的ノイズに対して、行動繰り返しをどのようにして耐性を高められるか。特に、行動実行中に予期せぬ摂動が発生した場合に有効な方法は何か。
• RQ3 安全領域に基づく行動繰り返しメカニズムは、無限の訓練ステップや報酬勾配へのアクセスを必要とせずに、PG 法における δ 不変性を達成できるか。
• RQ4 提案手法である Safe Action Repetition（SAR）は、既存の δ 不変アプローチと比較して、多様な MuJoCo 環境における性能と耐性の面で優れているか。
• RQ5 SAR は、非常に小さな δ 値を含むさまざまな δ 値において、決定論的および確率的設定の両方で、どの程度の性能を維持できるか。

主な発見

• SAR は、全テスト済み MuJoCo 環境で δ 不変性を達成し、δ = 0.0005s から δ = 0.05s の時間離散化スケールの範囲で一貫した性能を維持する。
• 強い外部力が作用する確率的設定では、SAR は 8 つの環境すべてで FiGAR-C や DAU を含むすべてのベースラインを上回り、優れた耐性を示す。
• 決定論的環境では、SAR が PPO、TRPO、A2C ベースラインをすべての δ 設定で上回り、最先端の性能を達成する。
• δ→0 に近づくと勾配分散の爆発を防ぐために、安全領域内で持続的な行動を実行することで、標準的な PG 法の主要な失敗モードを解消する。
• 実験的結果から、SAR は高いサンプル効率と安定性を示し、ハイパーパramータのチューニングなしに、全 δ 値で訓練収束が確認された。
• アブレーションスタディにより、安全領域メカニズムが耐性に不可欠であることが確認され、その除去は確率的環境下での性能低下を引き起こす。