[论文解读] Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings

Lili Chen, Kimin Lee+2 more|arXiv (Cornell University)|Mar 4, 2021

Reinforcement Learning in Robotics参考文献 54被引用 6

一句话总结

本文提出SEER方法，通过冻结卷积神经网络（CNN）的早期层并将经验回放中的原始图像替换为低维潜在向量，从而在视觉强化学习中提升计算与内存效率。SEER在DeepMind Control和Atari环境中实现了显著的速度提升与内存节省，且未造成性能下降，使在资源受限环境下的大容量经验回放成为可能。

ABSTRACT

Recent advances in off-policy deep reinforcement learning (RL) have led to impressive success in complex tasks from visual observations. Experience replay improves sample-efficiency by reusing experiences from the past, and convolutional neural networks (CNNs) process high-dimensional inputs effectively. However, such techniques demand high memory and computational bandwidth. In this paper, we present Stored Embeddings for Efficient Reinforcement Learning (SEER), a simple modification of existing off-policy RL methods, to address these computational and memory requirements. To reduce the computational overhead of gradient updates in CNNs, we freeze the lower layers of CNN encoders early in training due to early convergence of their parameters. Additionally, we reduce memory requirements by storing the low-dimensional latent vectors for experience replay instead of high-dimensional images, enabling an adaptive increase in the replay buffer capacity, a useful technique in constrained-memory settings. In our experiments, we show that SEER does not degrade the performance of RL agents while significantly saving computation and memory across a diverse set of DeepMind Control environments and Atari games.

研究动机与目标

• 解决视觉观测下深度强化学习（RL）的高计算与内存需求，特别是在边缘设备等资源受限环境中的问题。
• 降低依赖高维像素输入与经验回放的离策略RL算法的训练时间与内存使用。
• 通过潜在向量存储实现更大的经验回放缓冲区容量，从而在低内存环境下提升样本效率。
• 开发一种通用、即插即用的技术，兼容现有离策略RL算法（如DQN与SAC）。
• 证明CNN编码器的早期层在训练初期即可收敛，冻结后不会造成性能损失，从而实现高效推理与训练。

提出的方法

• 基于实证观察，即其参数在训练初期快速收敛，提前冻结CNN编码器的底层层。
• 将经验回放缓冲区中的原始图像观测替换为从冻结编码器中提取的低维潜在向量。
• 利用节省的内存扩大经验回放缓冲区容量，从而在内存受限场景中提升样本效率。
• 将该方法应用于连续控制（DeepMind Control Suite）与离散控制（Atari游戏）环境。
• 无需架构修改，即可将SEER与现有离策略RL算法（如DQN、Rainbow、SAC）结合使用。
• 利用SVCCA与注意力图验证早期层特征在训练初期即趋于稳定，从而支持冻结策略的合理性。

实验结果

研究问题

• RQ1 在视觉RL中，是否可通过提前冻结CNN编码器层来降低计算成本，同时不损害性能？
• RQ2 与原始图像相比，存储潜在向量在多大程度上减少了内存使用，并支持更大的经验回放缓冲区？
• RQ3 与标准离策略RL相比，SEER在低内存设置下的样本效率有何影响？
• RQ4 SEER在不同视觉RL环境（如连续控制与Atari游戏）中的性能是否有所差异？
• RQ5 SEER是否可与输入分辨率降低等其他效率技术有效结合？

主要发现

• SEER显著降低了计算开销，且在Walker-walk等更复杂环境中，优势随训练步数增加而更加明显。
• 该方法在所有评估环境（包括DeepMind Control Suite与Atari游戏）中保持了最先进性能，未出现可测量的性能下降。
• 通过存储潜在向量而非原始图像，实现了显著的内存节省，从而大幅提升了经验回放缓冲区容量，增强了受限内存环境下的样本效率。
• 实验表明，CNN编码器特征在训练初期即趋于稳定——SVCCA与注意力图结果验证了这一点，支持了早期冻结策略的合理性。
• SEER具有高度泛化能力，可与其它效率技术（如输入分辨率降低）结合，实现进一步优化。
• 在Atari环境中，输入分辨率降低2倍会导致性能下降，但SEER在提升效率的同时保持了性能稳定。