[논문 리뷰] QuaRL: Quantization for Fast and Environmentally Sustainable Reinforcement Learning

Srivatsan Krishnan, Maximilian Lam외 5명|arXiv (Cornell University)|2019. 10. 02.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 분산 강화학습을 가속화하기 위해 8비트 양자화된 액터를 사용하는 양자화 기반 프레임워크인 ActorQ를 소개한다. 이는 다양한 강화학습 알고리즘과 환경에서 학습 수렴성을 유지하면서도, 전체 정밀도 학습 대비 1.5배에서 5.41배의 속도 향상과 탄소 배출량 1.9배에서 3.76배 감소를 달성한다.

ABSTRACT

Deep reinforcement learning continues to show tremendous potential in achieving task-level autonomy, however, its computational and energy demands remain prohibitively high. In this paper, we tackle this problem by applying quantization to reinforcement learning. To that end, we introduce a novel Reinforcement Learning (RL) training paradigm, extit{ActorQ}, to speed up actor-learner distributed RL training. extit{ActorQ} leverages 8-bit quantized actors to speed up data collection without affecting learning convergence. Our quantized distributed RL training system, extit{ActorQ}, demonstrates end-to-end speedups \blue{between 1.5 $ imes$ and 5.41$ imes$}, and faster convergence over full precision training on a range of tasks (Deepmind Control Suite) and different RL algorithms (D4PG, DQN). Furthermore, we compare the carbon emissions (Kgs of CO2) of extit{ActorQ} versus standard reinforcement learning \blue{algorithms} on various tasks. Across various settings, we show that extit{ActorQ} enables more environmentally friendly reinforcement learning by achieving \blue{carbon emission improvements between 1.9$ imes$ and 3.76$ imes$} compared to training RL-agents in full-precision. We believe that this is the first of many future works on enabling computationally energy-efficient and sustainable reinforcement learning. The source code is available here for the public to use: \url{https://github.com/harvard-edge/QuaRL}.

연구 동기 및 목표

• 딥 강화학습 학습의 높은 계산 및 에너지 비용이 확장성과 지속 가능성에 제약을 주는 문제를 해결한다.
• 학습 수렴성을 훼손하지 않으면서 분산 강화학습의 학습 시간과 탄소 배출량을 줄인다.
• 일반적으로 표준 신경망에서 사용되는 양자화 기법이 강화학습 학습 파이프라인에 적용 가능한지 탐색한다.
• 분산 RL 시스템에서 액터 추론 및 통신에 양자화를 효과적으로 적용하여 성능 향상과 환경적 이점을 달성할 수 있음을 입증한다.
• 학습 파이프라인의 핵심 구성 요소를 체계적으로 양자화하여 에너지 효율적이고 지속 가능한 강화학습의 기반을 마련한다.

제안 방법

• 추론 중 계산과 메모리 대역폭을 줄이기 위해 액터 신경망 정책에 8비트 균일 양자화를 적용한다.
• 양자화된 액터를 분산 액터-러닝 RL 프레임워크(D4PG, DQN 등)에 통합하여 데이터 수집 및 학습을 가속화한다.
• Packed C 수준의 가중치 표현을 직렬화하여 모델 로딩을 최적화하고, PyTorch의 state_dict 로딩 오버헤드를 줄인다.
• 학습 버티브로크를 분석하고 액터 추론 및 통신을 양자화의 주요 대상으로 규명한다.
• 특히 높은 업데이트 빈도에서 대역폭과 지연을 줄이기 위해 액터와 러너 간의 양자화된 통신을 활용한다.
• 기존 하드웨어에서 저정밀도 연산을 지원하는 기능을 활용하여 최대한의 속도 향상과 에너지 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트에 양자화를 효과적으로 적용하여 학습 시간과 에너지 소비를 줄일 수 있는가?
• RQ2 학습 성능나 수렴성에 악영향을 주지 않으면서 액터 정책을 얼마나 양자화할 수 있는가(예: 4~8비트)?
• RQ3 양자화된 액터와 통신은 분산 RL에서 종단 간 학습 속도와 탄소 배출량에 어떤 영향을 미치는가?
• RQ4 분산 RL 학습에서 주요 성능 저하 요인은 무엇이며, 양자화로 이를 완화할 수 있는가?
• RQ5 표준 딥 러닝에서 사용되는 양자화 기법을 어떻게 변형하여 지속 가능하고 효율적인 강화학습을 달성할 수 있는가?

주요 결과

• ActorQ는 D4PG와 DQN을 포함한 다양한 강화학습 알고리즘에서 DeepMind Control Suite에서 종단 간 학습 속도 향상을 1.5배에서 5.41배까지 달성한다.
• 8비트로 양자화된 액터는 전체 정밀도 학습과 비교해도 학습 수렴성과 정책 성능을 유지한다.
• 전체 정밀도 학습 대비 탄소 배출량이 1.9배에서 3.76배 감소하여 뚜렷한 환경적 이점을 입증한다.
• 주요 성능 향상은 분산 RL에서 주요 블로킹 요인인 액터 추론 및 노드 간 통신 비용을 줄임으로써 발생한다.
• 8비트 가중치를 압축하여 직렬화함으로써 모델 로딩 오버헤드가 크게 감소했으며, int8 재패킹이 fp16보다 메모리 접근 횟수가 적어 더 빠르다.
• 결과적으로, 양자화는 지속 가능한 강화학습을 위한 실현 가능하고 영향력 있는 최적화 기법임을 시사하며, 저정밀도 연산에 대한 하드웨어 지원이 확대될수록 더욱 유망하다.