[논문 리뷰] Quantized Reinforcement Learning (QuaRL)

Srivatsan Krishnan, Sharad Chitlangia외 4명|arXiv (Cornell University)|2019. 01. 01.

Reinforcement Learning in Robotics참고 문헌 29인용 수 21

한 줄 요약

이 논문은 다양한 강화학습 작업과 모델에서 보상 저하 없이 8비트 추론을 가능하게 하는 양자화 프레임워크 QuaRL을 제안한다. ActorQ 알고리즘과 양자화된 분산 학습을 위한 시스템을 도입함으로써, 전체 정밀도 학습 대비 종단 간 속도 향상을 1.5배에서 2.5배 달성하면서도 수렴성을 유지하고 계산 비용을 감소시킨다.

ABSTRACT

Deep reinforcement learning has achieved significant milestones, however, the computational demands of reinforcement learning training and inference remain substantial. Quantization is an effective method to reduce the computational overheads of neural networks, though in the context of reinforcement learning, it is unknown whether quantization's computational benefits outweigh the accuracy costs introduced by the corresponding quantization error. To quantify this tradeoff we perform a broad study applying quantization to reinforcement learning. We apply standard quantization techniques such as post-training quantization (PTQ) and quantization aware training (QAT) to a comprehensive set of reinforcement learning tasks (Atari, Gym), algorithms (A2C, DDPG, DQN, D4PG, PPO), and models (MLPs, CNNs) and show that policies may be quantized to 8-bits without degrading reward, enabling significant inference speedups on resource-constrained edge devices. Motivated by the effectiveness of standard quantization techniques on reinforcement learning policies, we introduce a novel quantization algorithm, extit{ActorQ}, for quantized actor-learner distributed reinforcement learning training. By leveraging full precision optimization on the learner and quantized execution on the actors, extit{ActorQ} enables 8-bit inference while maintaining convergence. We develop a system for quantized reinforcement learning training around extit{ActorQ} and demonstrate end to end speedups of $>$ 1.5 $ imes$ - 2.5 $ imes$ over full precision training on a range of tasks (Deepmind Control Suite). Finally, we break down the various runtime costs of distributed reinforcement learning training (such as communication time, inference time, model load time, etc) and evaluate the effects of quantization on these system attributes.

연구 동기 및 목표

• 딥 강화학습에서 양자화의 계산적 이점이 양자화 오차로 인한 정확도 손실을 상쇄하는지 여부를 조사하기 위해.
• 다양한 강화학습 작업, 알고리즘, 아키텍처에 대해 표준 양자화 기법—사후 양자화(PTQ)와 양자화 인식 학습(QAT)—의 성능을 평가하기 위해.
• 분산 액터-러닝 강화학습 프레임워크를 위한 새로운 양자화 인식 학습 알고리즘인 ActorQ를 개발하여 8비트 추론을 유지하면서도 수렴성을 확보하기 위해.
• 양자화된 강화학습 학습을 위한 전반적인 스택 시스템을 구축하고, 분산 학습에서의 핵심 시스템 수준 비용에 양자화가 미치는 영향을 분석하기 위해.

제안 방법

• 다양한 강화학습 환경(Atari, Gym), 알고리즘(A2C, DQN, PPO, DDPG, D4PG), 모델(MLP, CNN)에 대해 사후 양자화(PTQ)와 양자화 인식 학습(QAT)을 적용한다.
• 학습자에서 전체 정밀도 최적화를 수행하고 액터에서 양자화된 추론을 수행함으로써 8비트 정책 실행을 가능하게 하는 새로운 학습 알고리즘인 ActorQ를 도입한다.
• 혼합 정밀도 실행을 지원하는 ActorQ 기반의 분산 강화학습 학습 시스템을 설계하여 메모리 및 계산 오버헤드를 감소시킨다.
• 분산 강화학습 학습에서 런타임 비용(통신, 추론, 모델 로딩)을 분해하고 측정하기 위해 시스템 수준의 프로파일링 접근법을 활용한다.
• 가변 범위 및 대칭 양자화를 사용하여 가중치 및 활성화 양자화를 수행하고, 이를 미분 가능 시뮬레이션을 통해 학습 파이프라인에 통합한다.
• DeepMind Control Suite를 포함한 여러 벤치마크에서 프레임워크를 검증하여 종단 간 학습 속도 향상과 정책 성능을 측정한다.

실험 결과

연구 질문

• RQ1 표준 양자화 기법인 PTQ와 QAT가 깊이 강화학습 정책에 효과적으로 적용될 수 있는가? 이로 인해 보상 저하가 발생하는가?
• RQ2 8비트 양자화된 정책가 다양한 강화학습 작업과 아키텍처에서 얼마나 높은 성능를 유지하는가?
• RQ3 ActorQ와 같은 새로운 학습 알고리즘이 분산 학습 중 8비트 추론을 가능하게 하면서도 수렴성과 정책 성능을 유지할 수 있는가?
• RQ4 분산 강화학습에서 통신, 추론, 모델 로딩과 같은 핵심 학습 병목 현상에 양자화가 미치는 시스템 수준의 성능 영향은 어떠한가?
• RQ5 강화학습에서 양자화로 인한 계산 절감과 잠재적인 정확도 손실 간의 트레이드오프는 어떻게 평가되는가?

주요 결과

• Atari 및 Gym 환경에서 정책을 8비트로 양자화해도 성능 저하 없이 엣지 디바이스에서 빠른 추론 속도 향상을 달성할 수 있다.
• ActorQ는 학습자에서 전체 정밀도 최적화를, 액터에서 양자화된 실행을 분리함으로써 8비트 추론을 가능하게 하며 안정적인 학습을 가능하게 한다.
• 제안된 시스템은 DeepMind Control Suite에서 전체 정밀도 학습 대비 종단 간 학습 속도 향상을 1.5배에서 2.5배 달성한다.
• 양자화는 추론 시간과 모델 로딩 시간을 크게 감소시키며, 분산 학습에서 통신 오버헤드에 미치는 영향은 최소한이다.
• 계산 절감과 정확도 손실 간의 트레이드오프는 유리하다. 양자화는 다양한 강화학습 알고리즘과 환경에서 정책 성능을 유지한다.
• 시스템 수준의 프로파일링 결과, 추론과 모델 로딩이 주요 비용 구성 요소임을 확인하였으며, 이는 양자화를 통해 효과적으로 감소시킬 수 있다.