[논문 리뷰] Quant 4.0: Engineering Quantitative Investment with Automated, Explainable and Knowledge-driven Artificial Intelligence

Jian Guo, Saizhuo Wang외 2명|arXiv (Cornell University)|2022. 12. 13.

Stock Market Forecasting Methods인용 수 7

한 줄 요약

이 논문은 자동화된 AI, 해석 가능한 AI(XAI), 지식 기반 AI를 통합하여 투자 모델링을 자동화하고 해석 가능하게 하며 향상시키는 차세대 프레임워크인 Quant 4.0을 소개한다. 기존 세대의 한계를 극복하기 위해 스케일링 가능한 체계적 양적 연구를 위한 종단 간 엔지니어링 아키텍처를 제안하며, 자동 요인 탐색, 모델 압축, 지식 그래프, 인과관계 인식 모델링을 강조한다.

ABSTRACT

Quantitative investment (``quant'') is an interdisciplinary field combining financial engineering, computer science, mathematics, statistics, etc. Quant has become one of the mainstream investment methodologies over the past decades, and has experienced three generations: Quant 1.0, trading by mathematical modeling to discover mis-priced assets in markets; Quant 2.0, shifting quant research pipeline from small ``strategy workshops'' to large ``alpha factories''; Quant 3.0, applying deep learning techniques to discover complex nonlinear pricing rules. Despite its advantage in prediction, deep learning relies on extremely large data volume and labor-intensive tuning of ``black-box'' neural network models. To address these limitations, in this paper, we introduce Quant 4.0 and provide an engineering perspective for next-generation quant. Quant 4.0 has three key differentiating components. First, automated AI changes quant pipeline from traditional hand-craft modeling to the state-of-the-art automated modeling, practicing the philosophy of ``algorithm produces algorithm, model builds model, and eventually AI creates AI''. Second, explainable AI develops new techniques to better understand and interpret investment decisions made by machine learning black-boxes, and explains complicated and hidden risk exposures. Third, knowledge-driven AI is a supplement to data-driven AI such as deep learning and it incorporates prior knowledge into modeling to improve investment decision, in particular for quantitative value investing. Moreover, we discuss how to build a system that practices the Quant 4.0 concept. Finally, we propose ten challenging research problems for quant technology, and discuss potential solutions, research directions, and future trends.

연구 동기 및 목표

• Quant 3.0의 한계를 해결하기 위해, 방대한 데이터와 수동 튜닝이 필요한 투명하지 않은 딥러닝 모델에 의존하는 문제를 해결한다.
• 자동화, 해석 가능성, 지식 통합을 통합한 차세대 양적 투자 시스템을 위한 체계적 엔지니어링 프레임워크를 수립한다.
• 자동화된 파이프라인 구축과 모델 최적화를 통해 AI 기반 투자 모델의 확장성 있고 실시간 배포를 가능하게 한다.
• 주식, 시간, 요인 수준의 설명을 가능하게 하기 위해 해석 가능한 AI(XAI) 기법을 통합함으로써 모델 신뢰도 향상과 규제 준수를 강화한다.
• 금융 지식 그래프와 신경기호 추론 시스템을 개발하여 도메인 지식을 통합하고 모델의 일반화 능력 및 강건성을 향상시킨다.

제안 방법

• 수동 모델링을 대체하기 위해 AutoML, NAS, 자동 특성 공학을 활용한 종단 간 모델 구축을 위한 자동화된 AI 파이프라인을 제안한다.
• 실시간 거래 배포를 위해 모델 압축과 하드웨어 인식 컴파일링을 적용하여 추론 속도를 향상시킨다.
• 주식, 시간, 요인 수준의 예측을 설명하기 위해 모델 내재형(XAI 기법, 예: 어텐션 맵)과 모델 독립형(XAI 기법, 예: LIME, SHAP) 기법을 통합한다.
• 기호적 및 신경망 추론을 활용하여 기업 연계성, 경제 이벤트, 리스크 노출을 표현하는 금융 지식 그래프를 구축한다.
• 인과 공학 및 리스크 그래프 모델링을 적용하여 투자 전략의 강건성과 체계적 리스크 측정 능력을 향상시킨다.
• 오프라인 연구(데이터 파이프라인, 요인 탐색, 지식 시스템)와 온라인 거래(모델 배포, 실행, 백테스팅)로 구성된 이중 시스템 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 자동화된 AI는 양적 연구 파이프라인의 수동적 병목 현상을 어떻게 제거하고 알고리즘 기반의 모델 및 특성 생성을 가능하게 할 수 있는가?
• RQ2 다양한 시간 간격과 투자 결정에서 모델의 해석 가능성을 확보하기 위해 어떤 기법이 필요한가? 이는 신뢰도 향상과 규제 준수를 강화한다.
• RQ3 금융 지식 그래프와 신경기호 추론은 모델의 일반화 능력을 향상시키고 대규모 레이블링된 데이터에 대한 의존도를 어떻게 줄일 수 있는가?
• RQ4 밀리초, 분, 일 단위의 시간 척도를 모두 통합하는 데 있어 어떤 아키텍처적 및 알고리즘적 혁신이 필요한가?
• RQ5 주문서 데이터와 뉴스 텍스트와 같은 구조화된 및 비구조화된 금융 데이터를 혼합하여 종단 간 학습을 어떻게 달성할 수 있는가?

주요 결과

• Quant 4.0는 수동적이고 인력 집약적인 양적 연구에서 AI가 자율적으로 모델과 특성을 생성하는 확장 가능한 파이프라인으로의 전환을 가능하게 한다.
• 해석 가능한 AI 기법은 주식, 시간, 요인 수준에서 실질적인 통찰을 제공하여 모델의 투명성 향상과 규제 준수를 개선한다.
• 지식 그래프와 신경기호 추론은 도메인 지식을 통합하고 노이즈가 많은 데이터에 대한 과적합을 줄임으로써 모델의 강건성을 크게 향상시킨다.
• 모델 압축과 하드웨어 인식 컴파일링은 추론 지연을 감소시켜 복잡한 모델을 온라인 거래 시스템에서 실시간으로 배포할 수 있도록 한다.
• 인과 공학과 리스크 그래프 모델링의 통합은 체계적 리스크 측정과 더 나은 표본 외 성능 향상을 가능하게 한다.
• 비구조화된 데이터를 활용한 종단 간 학습의 과제가 존재하지만, 프레임워크는 하이브리드 표현 학습과 다중 시간 간격 모델링을 통해 확장 가능한 길을 제공한다.