[論文レビュー] Does Self-supervised Learning Really Improve Reinforcement Learning from Pixels?

Xiang Li, Jinghuan Shang+2 more|arXiv (Cornell University)|Jun 10, 2022

Advanced Fluorescence Microscopy Techniques被引用数 9

ひとこと要約

本研究は、自己教師あり学習（SSL）が、ピクセルからオンライン強化学習（RL）を改善するか、共同SSL-RLフレームワークを用いて調査する。複数のSSL損失関数と進化的なハイパーパrameter探索を用いた広範な実験にもかかわらず、データと増幅処理を一定に保った状態で、SSLは画像増幅のみのベースラインに顕著な改善をもたらさないことが判明した。これは、現在の共同SSL-RLフレームワークが、サンプル効率性や環境間での一般化性に限界をもつことを示唆している。

ABSTRACT

We investigate whether self-supervised learning (SSL) can improve online reinforcement learning (RL) from pixels. We extend the contrastive reinforcement learning framework (e.g., CURL) that jointly optimizes SSL and RL losses and conduct an extensive amount of experiments with various self-supervised losses. Our observations suggest that the existing SSL framework for RL fails to bring meaningful improvement over the baselines only taking advantage of image augmentation when the same amount of data and augmentation is used. We further perform evolutionary searches to find the optimal combination of multiple self-supervised losses for RL, but find that even such a loss combination fails to meaningfully outperform the methods that only utilize carefully designed image augmentations. After evaluating these approaches together in multiple different environments including a real-world robot environment, we confirm that no single self-supervised loss or image augmentation method can dominate all environments and that the current framework for joint optimization of SSL and RL is limited. Finally, we conduct the ablation study on multiple factors and demonstrate the properties of representations learned with different approaches.

研究の動機と目的

• 自己教師あり学習（SSL）が、共同SSL-RL学習フレームワーク下でピクセルからのオンライン強化学習（RL）を改善するかを評価すること。
• 連続的および離散的行動空間を有する環境、さらには実世界のロボット環境を含む多様な環境において、さまざまなSSL損失関数と画像増幅戦略のパフォーマンスを比較すること。
• 進化的探索を用いて、SSL損失関数と増幅の強度の最適な組み合わせを同定すること。
• 異なるSSLおよび増幅スキームで学習された特徴の表現的性質を分析すること。
• 現在の共同SSL-RLフレームワークが、サンプル効率性および環境間での一般化性の観点で、どのような限界をもつかを評価すること。

提案手法

• 連続的および離散的行動空間を有する環境で、SACおよびRainbow DQNを用いて、SSLとRL損失を共同で最適化するように、対照的RLフレームワーク（例：CURL）を拡張する。
• ペairワイズSSL手法として、MoCo、BYOL、SimSiam、DINOの4つの代表的アプローチを採用し、すべてをRLとの共同学習に適応する。
• ランダムクロップやトランスレーションなどの画像増幅処理を適用し、損失関数の組み合わせと増幅の強度について、進化的なハイパーパrameter探索を実施する。
• クラスタリング精度や線形プローブ性能といった、表現品質のアブレーションスタディを実施し、学習された特徴を分析する。
• 複数のベンチマークで評価を実施：DMControl（連続的制御）、Atari（離散的制御）、および実世界のロボット環境（Franka Picking）。
• 公平なデータ使用を保証するため、プリトレーニングフレームワークをベースラインとして用い、共同学習と比較する。

実験結果

リサーチクエスチョン

• RQ1 共同で自己教師あり学習と強化学習を最適化することで、ピクセルベースのRLにおけるサンプル効率性および最終パフォーマンスが向上するか？
• RQ2 進化的探索によって得られた複数の自己教師あり損失関数の組み合わせは、同じデータおよび増幅予算下で、画像増幅のみのベースラインを上回るか？
• RQ3 異なるSSL手法で学習された表現は、下流のRLパフォーマンスおよび内在的品質指標の観点で、どのように比較されるか？
• RQ4 データが限られた状況で、共同学習フレームワークはプリトレーニングベースのSSL-RLアプローチを常に上回るか、それとも下回るか？
• RQ5 特定の環境やタスクでは、単純なデータ増幅よりもSSLが顕著な利点をもたらすことがあるか？

主な発見

• 同じデータと増幅設定下で、共同学習フレームワークにおけるいかなるSSL損失関数や損失関数の組み合わせも、DrQ や RAD といった画像増幅のみのベースラインを上回る性能を示さない。
• 最適な損失関数の組み合わせを探索する進化的探索は一貫した改善をもたらさず、『Longer』設定下でのみ ELo-SAC が増幅ベースのベースラインと同等のパフォーマンスを達成した。
• プリトレーニングフレームワークは大多数のケースで共同学習を上回るが、この優位性はフレームワーク自体のものではなく、追加のデータにアクセスできる点に起因している。
• データが厳密に制限された状況では、共同学習フレームワークがプリトレーニングを上回る性能を示しており、制限されたデータ環境下では共同学習がよりサンプル効率的である可能性を示唆している。
• 表現のアブレーション分析から、SSL手法で学習された特徴は環境間で一貫した一般化を示さず、どのSSL手法もすべてのタスクで優位性を保証しないことが判明した。
• 実世界のロボット環境では、いかなるSSL手法も増幅のみのベースラインを顕著に上回ることはできず、現在の共同SSL-RLアプローチの実用的限界を強調している。