[論文レビュー] TAAC: Temporally Abstract Actor-Critic for Continuous Control

Haonan Yu, Wei Xu+1 more|arXiv (Cornell University)|Apr 13, 2021

Reinforcement Learning in Robotics参考文献 51被引用数 6

ひとこと要約

TAACは、実際のサンプルされた行動に基づく学習された「行動するか繰り返すか」の意思決定を可能にすることで、連続制御における閉ループ時系列抽象化を統合した、単純ながら効果的なオフポリシーのアクタクリティックアルゴリズムを提案する。14の連続制御タスクにおいて最先端のパフォーマンスを達成し、驚くべき行動繰り返し率が最大89%に達する。これは、行動の持続性がパフォーマンスを損なわず、探索性とサンプル効率性を向上させることを示している。

ABSTRACT

We present temporally abstract actor-critic (TAAC), a simple but effective off-policy RL algorithm that incorporates closed-loop temporal abstraction into the actor-critic framework. TAAC adds a second-stage binary policy to choose between the previous action and a new action output by an actor. Crucially, its "act-or-repeat" decision hinges on the actually sampled action instead of the expected behavior of the actor. This post-acting switching scheme let the overall policy make more informed decisions. TAAC has two important features: a) persistent exploration, and b) a new compare-through Q operator for multi-step TD backup, specially tailored to the action repetition scenario. We demonstrate TAAC's advantages over several strong baselines across 14 continuous control tasks. Our surprising finding reveals that while achieving top performance, TAAC is able to "mine" a significant number of repeated actions with the trained policy even on continuous tasks whose problem structures on the surface seem to repel action repetition. This suggests that aside from encouraging persistent exploration, action repetition can find its place in a good policy behavior. Code is available at https://github.com/hnyu/taac.

研究の動機と目的

• 複雑な、もしくは報酬が疎な連続制御タスクにおける、標準的なオフポリシー深層強化学習アルゴリズムのサンプル効率性の制限を解消すること。
• 行動の結果に基づく「閉ループでの行動繰り返し」（意思決定が実際の行動結果に基づくもの）が、探索性とパフォーマンスの向上に寄与するかどうかを調査すること。
• タスク固有のオプションやゴール空間の定義を必要とせず、一般化可能で、学習可能で単純な方法として、時系列抽象化を統合すること。
• 行動繰り返しが、行動の多様性が好ましいとされるタスクですら、高性能な方策の有益な要素であるかどうかを調査すること。

提案手法

• 2段階のポリシーを導入：アクター・ネットワークが新しい行動を出力し、2番目の段階の2値ポリシーが、直前の行動を繰り返すか否かを決定する。
• 「行動するか繰り返すか」の意思決定は、期待される行動ではなく、実際のサンプルされた行動に基づくため、環境フィードバックに閉ループで適応可能となる。
• 行動繰り返しを適切に扱い、クレジット割り当てを改善するために、特に設計された新しい「Qを介した比較」演算子を提案する。
• アクター・ネットワークの勾配更新におけるスケーリング要因を、新しい行動を選択する最適確率から導出し、ポリシー改善を向上させる。
• リプレイバッファを用いたオフポリシー学習を採用し、安定した学習を実現しながらもサンプル効率性を維持する。
• 関数近似と確率的要因を活用することで、非重要状態の意思決定を繰り返しメカニズムに任せるポリシーの能力を高める。

実験結果

リサーチクエスチョン

• RQ1 実際の結果に基づいて行動を繰り返す学習可能な、エンドツーエンドで訓練可能な単純なポリシーは、連続制御におけるサンプル効率性を向上させることができるか？
• RQ2 閉ループでの行動繰り返しが、複雑な、もしくは報酬が疎な環境において、オープンループまたはフラットなアクタクリティック手法よりも優れたパフォーマンスを発揮するか？
• RQ3 高性能なポリシーが、行動の多様性が好ましいとされるタスクでさえ、行動繰り返しを自然に活用する程度はどの程度か？
• RQ4 提案された「Qを介した比較」演算子は、行動繰り返しの存在下で、クレジット割り当てをどのように改善するか？
• RQ5 行動繰り返しは、最終的なパフォーマンスを損なわず、恒続的探索のメカニズムとして機能できるか？

主な発見

• TAACは14の連続制御タスクにおいて6つの強力なベースラインを上回り、最終的リターンとサンプル効率性の両面で最先端のパフォーマンスを達成した。
• 評価では、MountainCarContinuousで最大89%、Antで74%、FetchPickAndPlaceで55%の行動繰り返し率を達成しており、持続的行動の広範な使用を示している。
• 行動が行動境界に近い状態でない場合でも高い繰り返し率が観測されたため、クリッピングによる繰り返しの影響は除外された。
• ポリシーは、非重要状態の意思決定を繰り返しメカニズムに任せる能力を学習し、アクター・ネットワークの重要状態に対する表現能力を維持した。
• 「Qを介した比較」演算子により、重要度サンプリング補正に依存せず、安定的かつ効果的なマルチステップTDバックアップが可能になった。
• 可視化の結果、繰り返された行動はしばしば安定した段階（例：物体を持ち上げる、ジャンプする）に対応しており、安定性と効率性のための戦略的使用が示唆された。