[論文レビュー] QuaRL: Quantization for Fast and Environmentally Sustainable Reinforcement Learning

Srivatsan Krishnan, Maximilian Lam+5 more|arXiv (Cornell University)|Oct 2, 2019

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本論文では、8ビットの量子化されたエージェントを用いることで分散強化学習の計算を高速化する、ActorQという量子化ベースのフレームワークを紹介している。この手法により、フル精度学習と比較して1.5×から5.41×の高速化と、二酸化炭素排出量を1.9×から3.76×まで削減できる。また、複数の強化学習アルゴリズムや環境においても学習収束を維持できる。

ABSTRACT

Deep reinforcement learning continues to show tremendous potential in achieving task-level autonomy, however, its computational and energy demands remain prohibitively high. In this paper, we tackle this problem by applying quantization to reinforcement learning. To that end, we introduce a novel Reinforcement Learning (RL) training paradigm, extit{ActorQ}, to speed up actor-learner distributed RL training. extit{ActorQ} leverages 8-bit quantized actors to speed up data collection without affecting learning convergence. Our quantized distributed RL training system, extit{ActorQ}, demonstrates end-to-end speedups \blue{between 1.5 $ imes$ and 5.41$ imes$}, and faster convergence over full precision training on a range of tasks (Deepmind Control Suite) and different RL algorithms (D4PG, DQN). Furthermore, we compare the carbon emissions (Kgs of CO2) of extit{ActorQ} versus standard reinforcement learning \blue{algorithms} on various tasks. Across various settings, we show that extit{ActorQ} enables more environmentally friendly reinforcement learning by achieving \blue{carbon emission improvements between 1.9$ imes$ and 3.76$ imes$} compared to training RL-agents in full-precision. We believe that this is the first of many future works on enabling computationally energy-efficient and sustainable reinforcement learning. The source code is available here for the public to use: \url{https://github.com/harvard-edge/QuaRL}.

研究の動機と目的

• 深層強化学習の学習にかかる高い計算コストとエネルギー消費を低減し、スケーラビリティと持続可能性を向上させること。
• 分散強化学習における学習時間と二酸化炭素排出量を、学習収束を損なわずに短縮すること。
• 標準的なニューラルネットワークで一般的に用いられる量子化を、強化学習の学習パイプラインに適用可能かどうかを検討すること。
• 分散RLシステムにおけるエージェントの推論と通信に量子化を効果的に適用することで、性能向上と環境的利点を達成できることを示すこと。
• 学習パイプラインの主要なコンponentを体系的に量子化することで、エネルギー効率的かつ持続可能な強化学習の基盤を構築すること。

提案手法

• 推論中に計算量とメモリ帯域幅を削減するために、エージェントのニューラルネットワーク方策に8ビットの均等量子化を適用する。
• D4PG や DQN などの分散型アクトロール・ラーナーフレームワークに量子化済みエージェントを統合し、データ収集と学習を高速化する。
• PyTorchのstate_dict読み込みのオーバーヘッドを低減するため、パックされたC言語レベルの重み表現をシリアライズする最適化を実施する。
• 学習のボトル neck を特定し、エージェント推論と通信が量子化による利得の主なターゲットであることを同定する。
• 特に高い更新頻度下でも帯域幅とレイテンシを削減するため、エージェントとラーナー間の通信を量子化する。
• 低精度演算をハードウェアでサポートする既存の仕組みを活用し、スループットとエネルギー効率を最大化する。

実験結果

リサーチクエスチョン

• RQ1 量子化を強化学習エージェントに効果的に適用することで、学習時間とエネルギー消費を削減できるか？
• RQ2 エージェント方策を4〜8ビットにまで量子化しても、学習性能や収束性が劣化しない範囲でどの程度まで可能か？
• RQ3 量子化されたエージェントと通信が、分散RLにおけるエンドツーエンドの学習速度と二酸化炭素排出量にどのような影響を与えるか？
• RQ4 分散RL学習における主要なパフォーマンスボトル neck は何か？そして、量子化によってこれらを軽減できるか？
• RQ5 標準的なディープラーニングで用いられる量子化技術を、持続可能で効率的な強化学習に適応できるか？

主な発見

• ActorQは、DeepMind Control Suite上で複数の強化学習アルゴリズム（D4PG や DQN を含む）を対象に、エンドツーエンドの学習を1.5×から5.41×まで高速化した。
• 8ビットに量子化されたエージェントでも、フル精度学習と同等の学習収束性と方策性能を維持している。
• フル精度学習と比較して、二酸化炭素排出量が1.9×から3.76×まで削減され、顕著な環境的利点が示された。
• 主なパフォーマンス向上は、分散RLにおける主要なボトル neck であるエージェント推論とノード間通信コストの削減に起因している。
• 8ビット重みをパックしてシリアライズすることで、モデル読み込みのオーバーヘッドが顕著に低減され、int8の再パック処理はfp16よりもメモリアクセス回数が少ないので高速である。
• 結果から、量子化は持続可能な強化学習のための実用的で効果的な最適化であることが示唆され、特に低精度演算をハードウェアでサポートする環境が進化する中でその有効性が高まると考えられる。