[論文レビュー] A Novel Neuromorphic Processors Realization of Spiking Deep Reinforcement Learning for Portfolio Management

Seyyed Amirhossein Saeidi, Forouzan Fallah+2 more|arXiv (Cornell University)|Mar 26, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文では、金融市場におけるポートフォリオ管理を向上させるために、インテルのロイヒ神経形態的プロセッサに最適化されたスパikingディープレインフォースメントラーニング（SDRL）アルゴリズムを提案する。イベント駆動型計算を活用することで、従来のハイエンドCPUおよびGPUと比較して、エネルギー消費量を186倍～516倍低減し、処理速度を1.3倍～2.0倍向上させた。2016年から2021年の変動が激しい暗号資産市場において、リスクを効果的に管理しながらリターンを最大化する能力を示した。

ABSTRACT

The process of continuously reallocating funds into financial assets, aiming to increase the expected return of investment and minimizing the risk, is known as portfolio management. Processing speed and energy consumption of portfolio management have become crucial as the complexity of their real-world applications increasingly involves high-dimensional observation and action spaces and environment uncertainty, which their limited onboard resources cannot offset. Emerging neuromorphic chips inspired by the human brain increase processing speed by up to 1000 times and reduce power consumption by several orders of magnitude. This paper proposes a spiking deep reinforcement learning (SDRL) algorithm that can predict financial markets based on unpredictable environments and achieve the defined portfolio management goal of profitability and risk reduction. This algorithm is optimized forIntel's Loihi neuromorphic processor and provides 186x and 516x energy consumption reduction is observed compared to the competitors, respectively. In addition, a 1.3x and 2.0x speed-up over the high-end processors and GPUs, respectively. The evaluations are performed on cryptocurrency market between 2016 and 2021 the benchmark.

研究の動機と目的

• ポートフォリオ管理における高次元的かつ不確実性の高い金融環境における、急速に増加する計算およびエネルギー要件に対処すること。
• リアルタイムの金融意思決定システムにおけるエネルギー消費の低減と処理速度の向上。
• インテルのロイヒのような神経形態的ハードウェアにネイティブに最適化されたスパキングディープレインフォースメントラーニングアルゴリズムの開発。
• 2016年から2021年までの実際の暗号資産データを用いて、SDRLアプローチの収益性およびリスク低減の評価。

提案手法

• 著者らは、イベント駆動型スパキングニューロンを用いて金融時系列データを処理するスパキングディープレインフォースメントラーニング（SDRL）アルゴリズムを設計した。
• アルゴリズムは、非同期的かつ低消費電力の計算モデルを活用するインテルのロイヒ神経形態的プロセッサ上でコンパイルおよび実行された。
• ニューラルネットワークのレイヤーは、市場の特徴量と行動を表現するため、時間的符号化を用いたスパキングニューラルネットワーク（SNN）に変換された。
• 強化学習のポリシー勾配は、スパイクベースのバックプロパゲーションと連携できるように調整された。
• ポートフォリオ配分におけるリターン最大化とリスク最小化のバランスを取るために、報酬形状化機構が使用された。
• リアルタイム取引制約下で、暗号資産価格データ（2016–2021）のベンチマークを用いて、アーキテクチャが評価された。

実験結果

リサーチクエスチョン

• RQ1 スパキングディープレインフォースメントラーニングモデルは、高次元的かつ不確実性の高い金融環境において、最適なポートフォリオ配分戦略を効果的に学習できるか？
• RQ2 神経形態的最適化SDRLシステムのエネルギー効率および推論速度は、従来のCPUおよびGPU実装と比較してどの程度優れているか？
• RQ3 イベントベースのスパキング計算は、動的変化が激しい金融時系列予測および取引において、どの程度の性能を維持できるか？
• RQ4 SDRLモデルは、変動が激しい暗号資産市場において、ベースラインの強化学習モデルと比較して優れたリスク調整リターンを達成できるか？
• RQ5 ロイヒ神経形態的プロセッサは、リアルタイムかつ低遅延のポートフォリオ管理アプリケーションにどの程度スケーラブルか？

主な発見

• 提案されたSDRLアルゴリズムは、CPUおよびGPUのベースラインと比較して、それぞれ186倍および516倍のエネルギー消費量削減を達成した。
• 推論性能において、ハイエンド従来CPUでは1.3倍、GPUでは2.0倍の高速化が達成された。
• アルゴリズムは収益性とリスクのバランスを効果的に学習し、2016年から2021年の変動が激しい暗号資産市場においても安定したポートフォリオリターンを達成した。
• 疎で非同期的なスパイクベース処理にもかかわらず、神経形態的実装は市場予測および行動選択において高い正確性を維持した。
• ロイヒ最適化SDRLフレームワークは、リアルタイム金融意思決定システムに適した優れたスケーラビリティと低遅延性能を示した。
• 結果から、神経形態的ハードウェアが金融アプリケーションにおけるディープレインフォースメントラーニングの効率を顕著に向上させることを確認した。