[논문 리뷰] Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings

Lili Chen, Kimin Lee외 2명|arXiv (Cornell University)|2021. 03. 04.

Reinforcement Learning in Robotics참고 문헌 54인용 수 6

한 줄 요약

이 논문은 시각적 강화학습에서 계산 및 메모리 효율성을 향상시키기 위해 초기 합성곱 신경망(CNN) 계층을 동결하고 경험 재생 버퍼에 원본 이미지 대신 저차원 잠복 벡터를 저장하는 SEER라는 방법을 소개한다. SEER는 DeepMind Control 및 Atari 환경 전반에서 성능 저하 없이 상당한 속도 향상과 메모리 절감을 달성하며, 자원이 제한된 환경에서 더 큰 경험 재생 버퍼를 가능하게 한다.

ABSTRACT

Recent advances in off-policy deep reinforcement learning (RL) have led to impressive success in complex tasks from visual observations. Experience replay improves sample-efficiency by reusing experiences from the past, and convolutional neural networks (CNNs) process high-dimensional inputs effectively. However, such techniques demand high memory and computational bandwidth. In this paper, we present Stored Embeddings for Efficient Reinforcement Learning (SEER), a simple modification of existing off-policy RL methods, to address these computational and memory requirements. To reduce the computational overhead of gradient updates in CNNs, we freeze the lower layers of CNN encoders early in training due to early convergence of their parameters. Additionally, we reduce memory requirements by storing the low-dimensional latent vectors for experience replay instead of high-dimensional images, enabling an adaptive increase in the replay buffer capacity, a useful technique in constrained-memory settings. In our experiments, we show that SEER does not degrade the performance of RL agents while significantly saving computation and memory across a diverse set of DeepMind Control environments and Atari games.

연구 동기 및 목표

• 특히 엣지 디바이스와 같은 자원이 제한된 환경에서 시각적 관측을 사용하는 딥 강화학습(RL)의 높은 계산 및 메모리 요구량을 해결한다.
• 고차원 픽셀 입력과 경험 재생에 의존하는 오프-폴리시 RL 알고리즘의 학습 시간과 메모리 사용량을 줄인다.
• 잠복 벡터 저장을 통해 메모리가 제한된 환경에서 더 큰 경험 재생 버퍼 용량을 가능하게 하여 샘플 효율성을 향상시킨다.
• 기존 오프-폴리시 RL 알고리즘(DQN 및 SAC 등)과 호환되는 일반적인, 즉시 적용 가능한 기법을 개발한다.
• CNN 인코더의 초기 수렴을 통해 인프런스 및 학습의 효율성을 높일 수 있음을 입증한다.

제안 방법

• empirical 관찰에 기반해 초기 학습 단계에서 CNN 인코더의 하위 계층을 동결한다. 이는 그들의 파라미터가 빠르게 수렴하기 때문이다.
• 경험 재생 버퍼 내 원본 이미지 관측치를 동결된 인코더에서 추출한 저차원 잠복 벡터로 대체한다.
• 절약된 메모리를 활용해 경험 재생 버퍼 용량을 증가시켜, 메모리가 제한된 상황에서 샘플 효율성을 향상시킨다.
• 연속 제어(DeepMind Control Suite) 및 이산 제어(Atari 게임) 환경 모두에 이 기법을 적용한다.
• 기존 오프-폴리시 RL 알고리즘인 DQN, Rainbow, SAC에 대해 아키텍처 수정 없이 SEER를 통합한다.
• 초기 계층의 특징이 조기에 안정화됨을 검증하기 위해 SVCCA와 주의 맵(attention maps)을 사용한다.

실험 결과

연구 질문

• RQ1 시각적 RL에서 CNN 인코더 계층을 조기에 동결함으로써 성능 저하 없이 계산 비용을 줄일 수 있는가?
• RQ2 원본 이미지 대신 잠복 벡터를 저장하면 얼마나 많은 메모리 절감이 이루어지고, 더 큰 경험 재생 버퍼를 가능하게 하는가?
• RQ3 메모리가 제한된 환경에서 SEER는 표준 오프-폴리시 RL에 비해 샘플 효율성에 어떤 영향을 미치는가?
• RQ4 SEER의 성능는 연속 제어 및 Atari 게임과 같은 다양한 시각적 RL 환경에서 어떻게 달라지는가?
• RQ5 입력 해상도 감소와 같은 다른 효율성 기법과 SEER를 효과적으로 조합할 수 있는가?

주요 결과

• SEER는 계산 오버헤드를 크게 줄이며, Walker-walk와 같이 더 복잡한 환경에서는 학습에 더 많은 스텝이 필요한 만큼 성능 향상이 더욱 두드러진다.
• 모든 평가된 환경—DeepMind Control Suite 및 Atari 게임—에서 최신 기술 수준의 성능를 유지하며, 성능 저하가 측정되지 않는다.
• 원본 이미지 대신 잠복 벡터를 저장함으로써 발생하는 메모리 절감 덕분에 경험 재생 버퍼 용량이 상당히 증가하여, 자원이 제한된 환경에서 샘플 효율성이 향상된다.
• 실험 결과, CNN 인코더 특징이 조기에 안정화됨을 확인했으며(SVCCA 및 주의 맵으로 확인), 이는 조기 동결 전략의 타당성을 뒷받침한다.
• SEER는 매우 일반화 가능하며, 입력 해상도 감소와 같은 다른 효율성 기법과 조합해 추가적인 성능 향상을 이룰 수 있다.
• Atari 환경에서는 해상도를 2배로 감소시키면 성능 저하가 발생했지만, SEER는 효율성을 높이면서도 성능를 유지했다.