[論文レビュー] An FPGA-Based On-Device Reinforcement Learning Approach using Online Sequential Learning

Hirohisa Watanabe, Mineto Tsukada+1 more|arXiv (Cornell University)|May 10, 2020

Machine Learning and ELM参考文献 13被引用数 5

ひとこと要約

本稿では、OS-ELMを用いたFPGAアクセラレート型のデバイス内強化学習フレームワークを提案する。これは、リソース制限のあるエッジデバイス上で軽量でリアルタイムな推論を実現するものである。バックプロパゲーションを解析的重み更新に置き換え、L2正則化とスペクトル正規化を適用することで、64個の隠れユニットを用いたCartPole-v0環境において、DQNに比べ89.40倍高速な学習を達成し、PYNQ-Z1 FPGAプラットフォーム上で安定かつ低遅延なデプロイが可能になった。

ABSTRACT

DQN (Deep Q-Network) is a method to perform Q-learning for reinforcement learning using deep neural networks. DQNs require a large buffer and batch processing for an experience replay and rely on a backpropagation based iterative optimization, making them difficult to be implemented on resource-limited edge devices. In this paper, we propose a lightweight on-device reinforcement learning approach for low-cost FPGA devices. It exploits a recently proposed neural-network based on-device learning approach that does not rely on the backpropagation method but uses OS-ELM (Online Sequential Extreme Learning Machine) based training algorithm. In addition, we propose a combination of L2 regularization and spectral normalization for the on-device reinforcement learning so that output values of the neural network can be fit into a certain range and the reinforcement learning becomes stable. The proposed reinforcement learning approach is designed for PYNQ-Z1 board as a low-cost FPGA platform. The evaluation results using OpenAI Gym demonstrate that the proposed algorithm and its FPGA implementation complete a CartPole-v0 task 29.77x and 89.40x faster than a conventional DQN-based approach when the number of hidden-layer nodes is 64.

研究の動機と目的

• PYNQ-Z1のような低コストでリソースが制限されたFPGAプラットフォーム上で、リアルタイムでデバイス内に強化学習を実装すること。
• バックプロパゲーションと経験リプレイのオーバーヘッドによりエッジデバイス上でDQNが計算的に非現実的であるという問題を克服すること。
• 正則化技術を用いて1層隠れ層を持つOS-ELMネットワークのQ値出力を安定化させること。
• RLパイプライン内の逐次処理をFPGAにオフロードすることで、推論と学習を高速化すること。

提案手法

• 提案手法は、DQNのバックプロパゲーションを、1回の計算で出力重みを解析的に算出するOS-ELMに置き換える。
• 計算複雑度を低減するため、1つの隠れ層と固定された入力重みを持つ簡略化されたQネットワークアーキテクチャを採用する。
• 出力重みにL2正則化と入力重みにスペクトル正規化を併用し、リプシッツ定数を制約することでQ値予測の安定性を向上させる。
• OS-ELM Q-Networkは、CPU-FPGAハイブリッドアーキテクチャを用いてPYNQ-Z1に実装され、FPGAがpredict_seqとtrain_seq内の行列演算を加速する。
• CPU-FPGA間のデータ転送にはAXIバスとDMAを用い、float32転送を1サイクル遅延と仮定する。
• 性能向上を得るために、学習と推論をFPGAにオフロードする一方で、初期化と制御論理はCPUで実行する。

実験結果

リサーチクエスチョン

• RQ1 OS-ELMに基づくデバイス内学習は、バックプロパゲーションを排除することで、低コストFPGA上で安定的かつ高速な強化学習を達成できるか？
• RQ2 L2正則化とスペクトル正規化の組み合わせは、1層OS-ELMネットワークにおけるQ値出力をどれほど安定化させられるか？
• RQ3 FPGAアクセラレーションは、従来のDQNと比較して、デバイス内RLの推論および学習速度をどの程度向上できるか？
• RQ4 隠れ層サイズの増加に伴って、性能と安定性の観点でシステムはどのようにスケーリングするか？

主な発見

• 提案されたOS-ELM-L2-Lipschitz手法は、CartPole-v0環境で64個の隠れユニットを用いた場合、DQNに比べ29.77倍高速な学習を達成した。
• FPGAアクセラレート実装により、64個の隠れユニットを用いたCartPole-v0タスクの完了において、DQNに比べ89.40倍の高速化が達成された。
• 組み合わせ正則化のおかげで、異なる隠れ層サイズに対しても安定的かつ効果的であり、Q値の発散を防いだ。
• OS-ELMアプローチにおける主要な性能ボトルネックは、行列サイズ∼ℝ^(N×N)×ℝ^(N×N)に比例してスケーリングするtrain_seq操作であり、FPGAアクセラレーションが極めて有効である。
• OS-ELM-L2-LipschitzおよびFPGA版の実行時間は隠れ層サイズの増加に伴い上昇したが、DQNに比べて著しく速く、DQNはスケーリング改善が少なかった。
• FPGA実装により、64個の隠れユニットの場合、総実行時間を2208.90秒のDQNから24.71秒に短縮し、顕著なハードウェアアクセラレーション効果を示した。