[논문 리뷰] Qlib: An AI-oriented Quantitative Investment Platform

Xiao Yang, Weiqing Liu외 3명|arXiv (Cornell University)|2020. 09. 22.

Stock Market Forecasting Methods참고 문헌 21인용 수 29

한 줄 요약

Qlib는 현대적인 AI 기반 정량 투자 금융 분야에서 발생하는 인프라 및 워크플로우 과제를 해결하기 위해 설계된 AI 중심의 정량 투자 플랫폼입니다. 데이터 처리, 모델 훈련, 백테스팅을 위한 고성능이며 구성 가능한 파이프라인을 제공하여 기존 데이터베이스보다 데이터 로딩 및 특성 계산에서 뛰어난 성능을 발휘합니다. 표현 캐싱을 통해 최대 80.4%의 시간 절감을 달성했고, 메모리 캐싱을 통해 24% 빠른 계산 속도를 확보했습니다.

ABSTRACT

Quantitative investment aims to maximize the return and minimize the risk in a sequential trading period over a set of financial instruments. Recently, inspired by rapid development and great potential of AI technologies in generating remarkable innovation in quantitative investment, there has been increasing adoption of AI-driven workflow for quantitative research and practical investment. In the meantime of enriching the quantitative investment methodology, AI technologies have raised new challenges to the quantitative investment system. Particularly, the new learning paradigms for quantitative investment call for an infrastructure upgrade to accommodate the renovated workflow; moreover, the data-driven nature of AI technologies indeed indicates a requirement of the infrastructure with more powerful performance; additionally, there exist some unique challenges for applying AI technologies to solve different tasks in the financial scenarios. To address these challenges and bridge the gap between AI technologies and quantitative investment, we design and develop Qlib that aims to realize the potential, empower the research, and create the value of AI technologies in quantitative investment.

연구 동기 및 목표

• 정량 투자 워크플로우에서 AI 네이티브 인프라의 증가하는 수요를 충족시키기 위해.
• 기존 데이터베이스에서 흔히 발생하는 데이터 로딩, 특성 계산, 모델 훈련의 성능 저하 문제를 해결하기 위해.
• 유연하고 구성 기반의 파이프라인 엔진을 통해 종단 간 AI 기반 정량 연구를 가능하게 하기 위해.
• 표현 캐싱 및 데이터셋 캐싱을 포함한 금융 데이터 워크로드 전용 최적화를 제공하기 위해.
• 도메인 인식 도구와 고성능 컴퓨팅을 통합하여 AI 기술과 정량 금융 간 격차를 메우기 위해.

제안 방법

• 사용자가 선언적 구성 파일을 통해 복잡한 정량 연구 워크플로우를 정의할 수 있는 구성 기반 파이프라인 엔진(CDPE)을 도입합니다.
• 금융 시계열 데이터에 최적화된 컴act한 컬럼형 저장 형식을 사용하여 빠른 메모리 액세스와 효율적인 I/O를 구현합니다.
• 반복적인 훈련 런에서 파생된 특성(예: 기술적 지표)을 재계산하지 않도록 표현 캐싱을 구현합니다.
• 사전 계산된 특성 배열을 영구 저장하여 반복 실험에서 중복 계산을 극도로 줄입니다.
• 데이터 처리 및 모델 훈련 워크로드의 가속화를 위해 다중 코어 병렬 처리를 지원합니다.
• 종단 간 강화 학습 기반 거래 전략 개발을 지원하기 위해 반응성이 뛰어난 강화 학습 시뮬레이터를 제공합니다.

실험 결과

연구 질문

• RQ1 확장성 있고 고성능 인프라를 통해 AI 기반 정량 투자 워크플로우를 어떻게 효율적으로 지원할 수 있을까?
• RQ2 금융 시계열 워크로드에 대해 데이터 저장 및 처리를 최적화함으로써 어떤 성능 향상을 달성할 수 있을까?
• RQ3 표현 캐싱 및 데이터셋 캐싱과 같은 캐싱 메커니즘이 반복적인 모델 훈련에서 중복 계산을 얼마나 줄일 수 있을까?
• RQ4 실제 정량 투자 작업에서 Qlib의 인프라는 일반 목적 데이터베이스(예: MySQL, MongoDB, InfluxDB, HDF5)와 비교해 어떻게 성능을 냈을까?
• RQ5 통합적이고 구성 가능한 플랫폼이 AI 기반 거래 전략의 개발 및 평가를 어떻게 가속화할 수 있을까?

주요 결과

• Qlib의 컴act한 저장 형식은 최적화된 HDF5 파일과 유사한 로딩 속도를 달성하며, I/O 오버헤드를 줄여 일반 목적 데이터베이스보다 뛰어난 성능을 보입니다.
• 표현 캐싱을 활성화한 상태에서 캐시 미스가 발생하지 않는 경우, 특성 계산에 소요되는 시간의 80.4%를 절약합니다.
• 표현 캐싱과 데이터셋 캐싱을 모두 활성화하면 캐시 미적용 구성 대비 총 작업 시간을 최대 24% 감소시킵니다.
• 다중 코어 병렬 처리를 사용함으로써 계산 시간이 크게 감소하였으며, Qlib +E +D 구성은 다중 CPU 시스템에서 거의 선형적인 성능 향상을 달성했습니다.
• Qlib의 인프라는 정량 투자 분야의 종단 간 데이터 처리 및 특성 계산 작업에서 HDF5, MySQL, MongoDB, InfluxDB를 모두 능가하는 성능을 보였습니다.
• 플랫폼의 캐싱 메커니즘과 최적화된 저장 설계 덕분에 반복적이고 데이터 집약적인 금융 분야의 AI 워크플로우에 특히 효과적입니다.