[論文レビュー] An Analysis of Frame-skipping in Reinforcement Learning

Shivaram Kalyanakrishnan, Siddharth Aravindan+6 more|arXiv (Cornell University)|Feb 7, 2021

Reinforcement Learning in Robotics参考文献 34被引用数 12

ひとこと要約

本稿は強化学習におけるフレームスキッピングを分析し、行動繰り返しによるフレームスキップが価値関数推定における漸近的整合性を維持することを示し、有効タスクホライズンの短縮により学習を改善することが可能であることを示している。行動繰り返しによる損失を制限するための「慣性のコスト」を導入し、ロボットサッカーにおける守備戦術など複雑なタスクにおいて最適なフレームスキップ値（例：d=32）が著しく性能向上をもたらすことを実証的に示している。

ABSTRACT

In the practice of sequential decision making, agents are often designed to sense state at regular intervals of $d$ time steps, $d > 1$, ignoring state information in between sensing steps. While it is clear that this practice can reduce sensing and compute costs, recent results indicate a further benefit. On many Atari console games, reinforcement learning (RL) algorithms deliver substantially better policies when run with $d > 1$ -- in fact with $d$ even as high as $180$. In this paper, we investigate the role of the parameter $d$ in RL; $d$ is called the "frame-skip" parameter, since states in the Atari domain are images. For evaluating a fixed policy, we observe that under standard conditions, frame-skipping does not affect asymptotic consistency. Depending on other parameters, it can possibly even benefit learning. To use $d > 1$ in the control setting, one must first specify which $d$-step open-loop action sequences can be executed in between sensing steps. We focus on "action-repetition", the common restriction of this choice to $d$-length sequences of the same action. We define a task-dependent quantity called the "price of inertia", in terms of which we upper-bound the loss incurred by action-repetition. We show that this loss may be offset by the gain brought to learning by a smaller task horizon. Our analysis is supported by experiments on different tasks and learning algorithms.

研究の動機と目的

• 行動繰り返しによるフレームスキッピングが制限された行動シーケンスの影響を受けるものの、なぜ強化学習の性能向上が達成されるのかを理解すること。
• 線形関数近似を用いた予測設定において、フレームスキッピング下での価値関数推定の整合性を形式的に分析すること。
• 行動繰り返しによる性能損失を、タスク固有の指標「慣性のコスト」として定量化すること。
• この損失を補っても、フレームスキッピングが有効タスクホライズンの短縮により全体的に有益であるかどうかを検証すること。
• メタラーニングフレームワーク内で多腕バンディット手法を用いて、フレームスキップパラメータdのオンラインチューニングの有効性を評価すること。

提案手法

• フレームスキッピングを、d ≥ 1 において毎dステップごとに状態を観測することとして定義し、行動繰り返しを同じ行動をd回繰り返すというデフォルト戦略とする。
• 行動シーケンスを繰り返しに制限することによる損失を上限付けるためのタスク依存的指標として「慣性のコスト」を導入する。
• フレームスキッピング下での予測整合性を分析し、線形関数近似を用いる場合、価値関数推定が漸近的に整合的であることを証明する。
• フレームスキッピングが有効タスクホライズンを短縮することを示し、これにより行動繰り返しによる損失を相殺し、学習効率を向上させられることを示す。
• 各dをアームとみなし、全エピソードでの性能を評価する多腕バンディット問題として扱い、EXP3.1アルゴリズムを用いたメタ強化学習アプローチでdをオンラインでチューニングする。
• 複数の環境（AtariゲームおよびHFOロボットサッカー環境を含む）で、タイルコーディングを用いたSarsa(λ)とハイパーパramータチューニング（α=0.1、ε=0.01、λ=0.8）を実施する。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似を用いた場合、行動繰り返しによるフレームスキッピングでも価値関数推定の漸近的整合性が保たれるか？
• RQ2 行動繰り返しによる性能損失の理論的上限は何か？ これはタスクによってどのように変化するか？
• RQ3 フレームスキッピングによる有効タスクホライズンの短縮は、行動繰り返しによる損失を補って学習を改善することができるか？
• RQ4 メタラーニングアプローチを用いて、フレームスキップパラメータdをオンラインでチューニングすることは可能か？ また、固定dと比較してどのように異なるか？
• RQ5 長時間にわたる行動シーケンスを要するタスク（例：ロボットサッカーにおける守備戦術）において、行動繰り返しは探索と学習成功にどのように影響を与えるか？

主な発見

• 線形関数近似を用いた場合、行動繰り返しによるフレームスキッピングでも価値関数推定の漸近的整合性が維持され、信頼性の高い学習が可能である。
• 「慣性のコスト」は、行動繰り返しによる性能損失の理論的上限を提供する。この値はタスク依存的であり、短くなった有効タスクホライズンによって相殺可能である。
• 2v2 HFOサッカー環境において、d=32のSarsaは2010/2012 RoboCup優勝ディフェンダーを上回り、d=128では15%の成功率を達成したのに対し、d=1では10%にとどまった。
• EXP3.1ベースのメタアルゴリズムは、{1,2,4,8,16,32,64,81,151} の中でd=31を最適と特定し、d=81およびd=151も収束が速いため頻繁に選択された。
• 行動繰り返しは探索を著しく向上させ、HFOディフェンスタスクではd=1の10%からd=128の15%へ成功率が上昇した。
• dを状態行動空間の一部とみなすFiGAR-Sarsaは学習が改善されたが、50,000エピソード経過後も固定d=32のSarsaに劣った。