[논문 리뷰] Optimizing Portfolio Management and Risk Assessment in Digital Assets Using Deep Learning for Predictive Analysis

Qishuo Cheng, Le Yang외 3명|arXiv (Cornell University)|2024. 02. 25.

Stock Market Forecasting Methods인용 수 17

한 줄 요약

논문은 디지털 자산 포트폴리오 관리에 Deep Q-Network 접근법을 도입하고 벤치마크 대비 개선점을 강조하며 교차 자산 Q-값 드리프트를 분포 공유 제약으로 다룬다.

ABSTRACT

Portfolio management issues have been extensively studied in the field of artificial intelligence in recent years, but existing deep learning-based quantitative trading methods have some areas where they could be improved. First of all, the prediction mode of stocks is singular; often, only one trading expert is trained by a model, and the trading decision is solely based on the prediction results of the model. Secondly, the data source used by the model is relatively simple, and only considers the data of the stock itself, ignoring the impact of the whole market risk on the stock. In this paper, the DQN algorithm is introduced into asset management portfolios in a novel and straightforward way, and the performance greatly exceeds the benchmark, which fully proves the effectiveness of the DRL algorithm in portfolio management. This also inspires us to consider the complexity of financial problems, and the use of algorithms should be fully combined with the problems to adapt. Finally, in this paper, the strategy is implemented by selecting the assets and actions with the largest Q value. Since different assets are trained separately as environments, there may be a phenomenon of Q value drift among different assets (different assets have different Q value distribution areas), which may easily lead to incorrect asset selection. Consider adding constraints so that the Q values of different assets share a Q value distribution to improve results.

연구 동기 및 목표

• 단일 예측 모델을 넘어 향상된 딥러닝 기반 포트폴리오 방법의 필요성을 제고한다.
• 자산 수준 의사결정에 시장 전반의 위험 요인을 통합하는 것을 제안한다.
• 벤치마크와 비교하여 DRL 기반 포트폴리오 전략의 효과를 평가한다.
• 독립적으로 훈련된 자산 환경 간의 Q-값 드리프트를 식별하고 완화한다.

제안 방법

• 자산 관리 포트폴리오에 Deep Q-Network (DQN) 알고리즘을 도입한다.
• 가장 큰 Q 값을 가지는 자산과 행동을 선택하여 전략을 구현한다.
• 다른 자산을 독립적으로 훈련하기 위한 별도의 환경으로 간주한다.
• 자산 간 서로 다른 Q 값 분포로 인한 Q-값 드리프트를 조사한다.
• 일관성을 높이기 위해 자산 간 Q 값이 분포를 공유하도록 제약을 추가할 것을 제안한다.

실험 결과

연구 질문

• RQ1 DQN을 사용하는 DRL 기반 접근법이 디지털 자산 포트폴리오 관리에서 전통적 벤치마크를 능가할 수 있는가?
• RQ2 각 자산을 별도의 환경으로 간주하는 것이 학습 역학 및 의사결정 품질에 어떤 영향을 미치는가?
• RQ3 자산 간 Q-값 드rift의 원인은 무엇이며 분포 공유 제약이 이를 어떻게 완화할 수 있는가?
• RQ4 더 넓은 시장 위험 데이터를 통합하면 고립된 자산 데이터보다 예측 성능이 향상되는가?
• RQ5 Q-값 분포에 대한 어떤 제약이 더 안정적이고 신뢰할 수 있는 자산 선택으로 이어지는가?

주요 결과

• 저자에 따르면 DQN 기반 포트폴리오 관리 방식이 벤치마크를 상당히 능가한다.
• 자산을 별도의 환경으로 훈련하는 것은 Q-값 드rift 이슈를 드러내며 이는 자산 선택에 영향을 줄 수 있다.
• Q-값 분포 드리프트를 분포 공유 제약으로 해결하면 결과를 향상시킬 수 있다.
• 본 연구는 단일 자산 데이터를 넘어 시장 전반의 위험 요인을 고려하는 중요성을 강조한다.