[논문 리뷰] QuaRL: Quantization for Sustainable Reinforcement Learning.

Srivatsan Krishnan, Maximilian Lam외 5명|arXiv (Cornell University)|2021. 11. 29.

Reinforcement Learning in Robotics참고 문헌 35인용 수 4

한 줄 요약

QuaRL은 보상 품질 저하 없이 강화학습에서 8비트 추론을 가능하게 하는 새로운 양자화 방법인 ActorQ를 제안한다. 이는 전체 정밀도 학습과 양자화된 액터 추론을 조합하여 DeepMind Control Suite에서 종단 간 훈련 속도를 1.5배에서 2.5배로 향상시킨다. 본 연구는 적절히 적용될 경우 양자화의 계산적 이점이 정확도 손실을 상쇄함을 보여준다.

ABSTRACT

Deep reinforcement learning has achieved significant milestones, however, the computational demands of reinforcement learning training and inference remain substantial. Quantization is an effective method to reduce the computational overheads of neural networks, though in the context of reinforcement learning, it is unknown whether quantization's computational benefits outweigh the accuracy costs introduced by the corresponding quantization error. To quantify this tradeoff we perform a broad study applying quantization to reinforcement learning. We apply standard quantization techniques such as post-training quantization (PTQ) and quantization aware training (QAT) to a comprehensive set of reinforcement learning tasks (Atari, Gym), algorithms (A2C, DDPG, DQN, D4PG, PPO), and models (MLPs, CNNs) and show that policies may be quantized to 8-bits without degrading reward, enabling significant inference speedups on resource-constrained edge devices. Motivated by the effectiveness of standard quantization techniques on reinforcement learning policies, we introduce a novel quantization algorithm, extit{ActorQ}, for quantized actor-learner distributed reinforcement learning training. By leveraging full precision optimization on the learner and quantized execution on the actors, extit{ActorQ} enables 8-bit inference while maintaining convergence. We develop a system for quantized reinforcement learning training around extit{ActorQ} and demonstrate end to end speedups of $>$ 1.5 $ imes$ - 2.5 $ imes$ over full precision training on a range of tasks (Deepmind Control Suite). Finally, we break down the various runtime costs of distributed reinforcement learning training (such as communication time, inference time, model load time, etc) and evaluate the effects of quantization on these system attributes.

연구 동기 및 목표

• 양자화의 계산적 이점이 딥 강화학습에서 정확도 비용을 상쇄하는지 조사하기 위해.
• 다양한 강화학습 작업, 알고리즘, 아키텍처에서 표준 양자화 기법(PTQ 및 QAT)의 성능을 평가하기 위해.
• 분산형 액터-러닝 강화학습을 위한 새로운 양자화 인식 훈련 방법인 ActorQ를 설계하여 8비트 추론 시 수렴성을 유지하기 위해.
• 양자화가 분산 강화학습 훈련의 시스템 수준 런타임 비용(통신, 추론, 모델 로딩)에 미치는 영향을 분석하고 최적화하기 위해.
• 양자화를 통해 정책 성능을 유지하면서 종단 간 훈련 속도 향상을 입증하기 위해.

제안 방법

• 다양한 강화학습 환경(Atari, Gym), 알고리즘(A2C, DDPG, DQN, D4PG, PPO), 모델(MLPs, CNNs)에 대해 사후 양자화(PTQ)와 양자화 인식 훈련(QAT)를 적용하기 위해.
• 학습자에서는 전체 정밀도 최적화를, 액터에서는 양자화된 추론을 사용하는 새로운 훈련 프레임워크인 ActorQ를 도입하여 8비트 정책 실행을 가능하게 하기 위해.
• 최소한의 성능 저하로 종단 간 양자화된 강화학습 훈련을 지원하는 ActorQ 기반의 시스템 설계를 위해.
• 분산 강화학습 훈련 비용(통신, 추론, 모델 로딩)을 분해하고 각 구성 요소에 대한 양자화의 영향을 측정하기 위해.
• 정책 성능 유지에 중점을 두고 정교한 校정을 수행하는 표준 양자화 기법을 사용하기 위해.
• 다양한 벤치마크와 모델 구성에서 계산 효율성과 정책 정확도 간의 트레이드오���을 평가하기 위해.

실험 결과

연구 질문

• RQ1 표준 양자화 기법인 PTQ와 QAT가 강화학습 정책에 효과적으로 적용될 수 있는가? 이때 보상 품질 저하가 심각하게 발생하는가?
• RQ2 8비트 양자화된 정책가 다양한 강화학습 작업과 아키텍처에서 얼마나 잘 유지되는가?
• RQ3 ActorQ와 같은 새로운 훈련 알고리즘이 분산 강화학습 훈련 중에 안정적인 수렴을 이끌 수 있는가? 이때 8비트 추론이 유지되는가?
• RQ4 양자화가 분산 강화학습 훈련 워크로드의 다양한 구성 요소(예: 통신, 추론, 모델 로딩)에 미치는 영향은 어떠한가?
• RQ5 정책 성능을 훼손시키지 않고 양자화를 통해 강화학습 훈련에서 얼마나 큰 종단 간 속도 향상을 달성할 수 있는가?

주요 결과

• Atari 및 Gym 환경에서 정책를 8비트로 양자화해도 누적 수익이 저하되지 않으며, 이는 엣지 디바이스에서 상당한 추론 속도 향상을 가능하게 한다.
• ActorQ는 분산 액터-러닝 강화학습에서 안정적인 수렴을 가능하게 하며, 8비트 추론을 유지하면서 정책 성능을 그대로 유지한다.
• 제안된 양자화된 훈련 시스템을 사용하여 DeepMind Control Suite에서 종단 간 훈련 속도 향상이 1.5배에서 2.5배 달성되었다.
• 양자화는 추론 및 모델 로딩 시간을 상당히 줄이며, 분산 훈련에서 통신 오버헤드에 거의 영향을 주지 않는다.
• QAT 및 ActorQ와 같은 적절한 기법을 사용할 경우, 양자화의 계산적 이점이 정확도 비용을 상쇄함을 연구가 확인했다.
• 시스템 수준 프로파일링 결과, 추론 및 모델 로딩이 훈련 지연의 주요 원인임을 확인하였으며, 이는 양자화를 통해 효과적으로 감소시킬 수 있었다.