[論文レビュー] TACO: Temporal Latent Action-Driven Contrastive Loss for Visual Reinforcement Learning

Ruijie Zheng, Xiyao Wang+6 more|arXiv (Cornell University)|Jun 22, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

TACOは、現在の状態と行動シーケンス、およびそれに対応する将来の状態の間の相互情報量を最大化することで、状態と行動の表現を同時に学習する時間的対照学習フレームワークを導入する。100万ステップの環境ステップ後、視覚的連続制御タスクにおいてSOTAを40%上回る性能を達成し、品質が異なるデータセットにおいてもオフラインRLの性能を向上させる。

ABSTRACT

Despite recent progress in reinforcement learning (RL) from raw pixel data, sample inefficiency continues to present a substantial obstacle. Prior works have attempted to address this challenge by creating self-supervised auxiliary tasks, aiming to enrich the agent's learned representations with control-relevant information for future state prediction. However, these objectives are often insufficient to learn representations that can represent the optimal policy or value function, and they often consider tasks with small, abstract discrete action spaces and thus overlook the importance of action representation learning in continuous control. In this paper, we introduce TACO: Temporal Action-driven Contrastive Learning, a simple yet powerful temporal contrastive learning approach that facilitates the concurrent acquisition of latent state and action representations for agents. TACO simultaneously learns a state and an action representation by optimizing the mutual information between representations of current states paired with action sequences and representations of the corresponding future states. Theoretically, TACO can be shown to learn state and action representations that encompass sufficient information for control, thereby improving sample efficiency. For online RL, TACO achieves 40% performance boost after one million environment interaction steps on average across nine challenging visual continuous control tasks from Deepmind Control Suite. In addition, we show that TACO can also serve as a plug-and-play module adding to existing offline visual RL methods to establish the new state-of-the-art performance for offline visual RL across offline datasets with varying quality.

研究の動機と目的

• 生のピクセルからの視覚的強化学習におけるサンプル非効率性を解決すること。
• 最適な方策関数および価値関数に必要な制御関連情報を捉える連合状態と行動の表現を学習すること。
• 従来の対照学習手法が方策に依存する正例ペアに依存するか、連続制御において行動表現を無視するという制限を克服すること。
• 既存のオンラインおよびオフラインRLアルゴリズムと互換性のある即挿しモジュールを提供すること。
• 理論的に根拠を持つ相互情報量の最大化により、高次元連続制御タスクにおける安定性と一般化性能を向上させること。

提案手法

• TACOは、現在の状態の表現と行動シーケンスの表現、およびそれに対応する将来の状態の表現の間の相互情報量を最大化する目的関数を、InfoNCE損失に基づいて用いる。
• 時間的ダイナミクスと制御関連情報を捉える潜在表現を生成するために、状態エンコーダと行動エンコーダを同時に学習する。
• 行動シーケンスとそれに対応する将来の状態を正例ペアとして扱い、他のシーケンスを負例として扱う。
• 対照的損失は方策に依存しないように設計されており、方策依存の正例ペアによる不安定性を回避する。
• TACOはあらゆる市販のRLアルゴリズムと互換性があり、オンラインおよびオフラインRLの学習パイプラインにスムーズに統合可能である。
• このアプローチは理論的に根拠を持ち、学習された表現が最適制御に必要な十分な情報を含んでいることを示している。

実験結果

リサーチクエスチョン

• RQ1 連合状態と行動の表現学習は、視覚的強化学習におけるサンプル効率を向上させることができるか？
• RQ2 行動シーケンスを組み込んだ方策に依存しない対照的損失は、より安定的で一般化可能な表現をもたらすか？
• RQ3 TACOは、オンライン連続制御ベンチマークにおいて、SOTAのモデルフリーおよびモデルベースの視覚的強化学習アルゴリズムを上回ることができるか？
• RQ4 TACOは、データ品質が異なるデータセットにおいて、オフライン視覚的強化学習の性能をどの程度向上させることができるか？
• RQ5 TACOの相互情報量最大化は、直接的な潜在ダイナミクスモデリングと比較して、安定性と表現品質の面で優れているか？

主な発見

• TACOは、DeepMind Control Suiteの9つのタスクにおいて、100万ステップの環境相互作用後、SOTAのモデルフリー視覚的強化学習アルゴリズムを平均40%上回る性能を達成した。
• DrQ-v2と組み合わせた場合、TACOはオンライン視覚的強化学習設定において、最も強力なモデルベースベースラインであるDreamer-v3を上回った。
• TD3+BCおよびCQLと統合することで、TACOはオフライン視覚的強化学習の性能を向上させ、データ品質が異なるオフラインデータセットにおいて、新たなSOTAを樹立した。
• 方策に依存しない対照的損失のおかげで、TACOは安定した学習を示した。これは、方策依存の正例ペアによる不安定性を回避したためである。
• TACOの連合状態-行動表現学習により、連続制御タスクにおけるより良い一般化性能と長期計画能力が実現された。
• 効果的である一方で、TACOは大きなバッチサイズを必要とし、計算効率に影響を与えるため、将来的な最適化の方向性として挙げられる。