[論文レビュー] Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings

Lili Chen, Kimin Lee+2 more|arXiv (Cornell University)|Mar 4, 2021

Reinforcement Learning in Robotics参考文献 54被引用数 6

ひとこと要約

本論文では、経験リプレイに原始画像の代わりに低次元の潜在ベクトルを格納することで、計算およびメモリ効率を向上させるSEERという手法を紹介する。早期の畳み込みニューラルネットワーク（CNN）層を固定し、視覚的強化学習における計算およびメモリの負荷を軽減する。SEERはDeepMind ControlおよびAtari環境において、性能の劣化を伴わずに顕著な高速化とメモリ節約を達成し、制限された環境下でも大きなリプレイバッファの実装を可能にする。

ABSTRACT

Recent advances in off-policy deep reinforcement learning (RL) have led to impressive success in complex tasks from visual observations. Experience replay improves sample-efficiency by reusing experiences from the past, and convolutional neural networks (CNNs) process high-dimensional inputs effectively. However, such techniques demand high memory and computational bandwidth. In this paper, we present Stored Embeddings for Efficient Reinforcement Learning (SEER), a simple modification of existing off-policy RL methods, to address these computational and memory requirements. To reduce the computational overhead of gradient updates in CNNs, we freeze the lower layers of CNN encoders early in training due to early convergence of their parameters. Additionally, we reduce memory requirements by storing the low-dimensional latent vectors for experience replay instead of high-dimensional images, enabling an adaptive increase in the replay buffer capacity, a useful technique in constrained-memory settings. In our experiments, we show that SEER does not degrade the performance of RL agents while significantly saving computation and memory across a diverse set of DeepMind Control environments and Atari games.

研究の動機と目的

• 視覚的観測を伴う深層強化学習（RL）における高い計算およびメモリ要件を軽減すること、特にエッジデバイスのようなリソース制約のある環境を想定する。
• 高次元のピクセル入力と経験リプレイに依存するオフポリシーRLアルゴリズムにおける、学習時間とメモリ使用量を削減すること。
• 潜在ベクトルの格納により、メモリ制約下でもより大きなリプレイバッファ容量を実現することで、低メモリ環境におけるサンプル効率を向上させること。
• 既存のオフポリシーRLアルゴリズム（例：DQNやSAC）と互換性があり、汎用的かつ即時適用可能な技術を開発すること。
• CNNエンコーダーの初期層が早期に収束することを実証的に観察し、性能に損なわれることなく固定可能であることを示し、効率的な推論および学習を可能にすること。

提案手法

• CNNエンコーダーの下位層を、そのパラメータが急速に収束することが観察されたことに基づき、学習の初期段階で固定する。
• 経験リプレイバッファ内の原始画像観測を、固定されたエンコーダーから抽出された低次元の潜在ベクトルに置き換える。
• 節約されたメモリを活用してリプレイバッファの容量を拡大し、メモリ制約下の状況でのサンプル効率を向上させる。
• 連続的制御（DeepMind Control Suite）および離散的制御（Atariゲーム）の両方の環境に本手法を適用する。
• アーキテクチャの変更なしに、DQN、Rainbow、SACなどの既存のオフポリシーRLアルゴリズムとSEERを組み合わせる。
• SVCCAおよび注視マップを用いて、初期層の特徴量が早期に安定することを検証し、固定戦略の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 CNNエンコーダーの初期層を早期に固定することで、視覚的RLにおける計算コストを削減できるか、性能の劣化を伴わないか？
• RQ2 原始画像の代わりに潜在ベクトルを格納することで、どの程度メモリ使用量が削減され、より大きなリプレイバッファが実現できるか？
• RQ3 SEERは、標準的なオフポリシーRLと比較して、低メモリ環境下でのサンプル効率にどのように影響を与えるか？
• RQ4 SEERの性能は、連続的制御とAtariゲームの異なる視覚的RL環境で変動するか？
• RQ5 入力解像度の低減などの他の効率化技術と組み合わせて、SEERを効果的に適用できるか？

主な発見

• SEERは計算オーバーヘッドを顕著に削減し、Walker-walkのようなより複雑な環境では、ステップ数が増えるほどその恩恵が大きくなる。
• 評価されたすべての環境（DeepMind Control SuiteおよびAtariゲーム）で、最新の最先端性能を維持しており、性能の著しい劣化は観察されない。
• 原始画像の代わりに潜在ベクトルを格納することで得られるメモリ節約により、リプレイバッファの容量が大幅に拡大され、制限されたメモリ環境下でのサンプル効率が向上する。
• 実験により、CNNエンコーダーの特徴量が早期に安定することが判明（SVCCAおよび注視マップによる確認）し、早期固定戦略の妥当性が裏付けられる。
• SEERは非常に汎用的であり、入力解像度の低減などの他の効率化技術と組み合わせて、さらなる性能向上が可能である。
• Atari環境では、解像度を2倍に低減すると性能が低下する傾向にあったが、SEERを適用することで性能を維持しながら効率性が向上した。