[논문 리뷰] A Novel Neuromorphic Processors Realization of Spiking Deep Reinforcement Learning for Portfolio Management

Seyyed Amirhossein Saeidi, Forouzan Fallah외 2명|arXiv (Cornell University)|2022. 03. 26.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 금융 시장의 포트폴리오 관리 향상을 위해 인텔의 로이히 뉴로모픽 프로세서에 최적화된 스파iking 딥 강화학습(SDRL) 알고리즘을 제안한다. 이론적 이벤트 기반 계산을 활용하여, 고성능 CPU 및 GPU 대비 각각 186배~516배의 에너지 소비 감소와 1.3배~2.0배의 속도 향상을 달성했으며, 2016년부터 2021년까지의 변동성이 큰 암호화폐 시장에서 위험을 효과적으로 관리하고 수익을 극대화하는 데 성공했다.

ABSTRACT

The process of continuously reallocating funds into financial assets, aiming to increase the expected return of investment and minimizing the risk, is known as portfolio management. Processing speed and energy consumption of portfolio management have become crucial as the complexity of their real-world applications increasingly involves high-dimensional observation and action spaces and environment uncertainty, which their limited onboard resources cannot offset. Emerging neuromorphic chips inspired by the human brain increase processing speed by up to 1000 times and reduce power consumption by several orders of magnitude. This paper proposes a spiking deep reinforcement learning (SDRL) algorithm that can predict financial markets based on unpredictable environments and achieve the defined portfolio management goal of profitability and risk reduction. This algorithm is optimized forIntel's Loihi neuromorphic processor and provides 186x and 516x energy consumption reduction is observed compared to the competitors, respectively. In addition, a 1.3x and 2.0x speed-up over the high-end processors and GPUs, respectively. The evaluations are performed on cryptocurrency market between 2016 and 2021 the benchmark.

연구 동기 및 목표

• 포트폴리오 관리에서 고차원적이고 불확실한 금융 환경의 증가하는 계산 및 에너지 수요를 해결하기 위해.
• 실시간 금융 의사결정 시스템에서 에너지 소비를 줄이고 처리 속도를 향상시키기 위해.
• 인텔 로이히와 같은 뉴로모픽 하드웨어에 원천적으로 최적화된 스파이킹 딥 강화학습 알고리즘 개발을 위해.
• 2016년부터 2021년까지의 실제 암호화폐 데이터를 기반으로 SDRL 접근법의 수익성 및 위험 감소 능력을 평가하기 위해.

제안 방법

• 저자들은 금융 시계열 데이터를 이벤트 기반 스파이크 뉴런으로 처리하는 스파이킹 딥 강화학습(SDRL) 알고리즘을 설계한다.
• 이 알고리즘은 이방향 비동기식 저전력 계산 모델을 활용하여 인텔의 로이히 뉴로모픽 프로세서에 컴파일 및 실행된다.
• 신경망 레이어는 시장 특성과 행동을 표현하기 위해 시간 코드를 사용하는 스파iking 신경망(SNN)으로 변환된다.
• 강화학습 정책 기울기(정책 기울기)는 스파이크 기반 역전파와 함께 작동하도록 조정되어 SNN 정책을 학습한다.
• 포트폴리오 할당에서 수익 극대화와 위험 최소화를 균형 있게 조절하기 위해 보상 형상화 메커니즘이 사용된다.
• 실시간 거래 제약 조건 하에서 암호화폐 가격 데이터 벤치마크(2016–2021)를 사용하여 아키텍처가 평가된다.

실험 결과

연구 질문

• RQ1 스파이킹 딥 강화학습 모델은 고차원적이고 불확실한 금융 환경에서 최적의 포트폴리오 할당 전략을 효과적으로 학습할 수 있는가?
• RQ2 뉴로모픽 최적화된 SDRL 시스템의 에너지 효율성과 추론 속도는 기존 CPU 및 GPU 구현 대비 어떻게 비교되는가?
• RQ3 이벤트 기반 스파이킹 계산은 동적인 금융 시계열 예측 및 거래에서 성능을 유지할 수 있는가?
• RQ4 SDRL 모델은 변동성이 큰 암호화폐 시장에서 기준 강화학습 모델에 비해 뛰어난 위험 조정 수익률을 달성하는가?
• RQ5 로이히 뉴로모픽 프로세서는 실시간, 저지연 포트폴리오 관리 응용 분야에서 얼마나 잘 스케일링되는가?

주요 결과

• 제안된 SDRL 알고리즘은 각각 CPU 및 GPU 기준 대비 186배, 516배의 에너지 소비 감소를 달성한다.
• 시스템은 고성능 기존 CPU 대비 1.3배, GPU 대비 2.0배의 추론 성능 향상을 보였다.
• 알고리즘은 수익성과 위험을 효과적으로 균형 잡는 데 성공하여, 2016년부터 2021년까지의 변동성이 큰 암호화폐 시장에서 안정적인 포트폴리오 수익률을 달성했다.
• 희박하고 비동기식 스파이크 기반 처리에도 불구하고 뉴로모픽 구현은 시장 예측 및 행동 선택에서 높은 정확도를 유지했다.
• 로이히 최적화된 SDRL 프레임워크는 실시간 금융 의사결정 시스템에 적합한 뛰어난 확장성과 저지연 성능을 보였다.
• 결과적으로 뉴로모픽 하드웨어가 금융 응용 분야에서 딥 강화학습의 효율성을 크게 향상시킨다는 것이 확인되었다.