[논문 리뷰] RiskLabs: Predicting Financial Risk Using Large Language Model based on Multimodal and Multi-Sources Data

Yupeng Cao, Zhi Chen외 8명|arXiv (Cornell University)|2024. 04. 11.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

RiskLabs는 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 수익성 회의 통화록과 음성, 시계열 시장 데이터, 그리고 맥락 기반 뉴스를 통합함으로써 재무 리스크를 예측하는 다중모odal, 다중소스 프레임워크를 제안한다. 전용 인코더와 다중모달 어텐션 메커니즘을 통해 이러한 다양한 데이터 스트림을 융합함으로써, 특히 중기 및 장기 예측 기간(7, 15, 30일)에서 시장 변동성과 VaR(Value-at-Risk) 예측 성능이 크게 향상된다.

ABSTRACT

The integration of Artificial Intelligence (AI) techniques, particularly large language models (LLMs), in finance has garnered increasing academic attention. Despite progress, existing studies predominantly focus on tasks like financial text summarization, question-answering, and stock movement prediction (binary classification), the application of LLMs to financial risk prediction remains underexplored. Addressing this gap, in this paper, we introduce RiskLabs, a novel framework that leverages LLMs to analyze and predict financial risks. RiskLabs uniquely integrates multimodal financial data, including textual and vocal information from Earnings Conference Calls (ECCs), market-related time series data, and contextual news data to improve financial risk prediction. Empirical results demonstrate RiskLabs' effectiveness in forecasting both market volatility and variance. Through comparative experiments, we examine the contributions of different data sources to financial risk assessment and highlight the crucial role of LLMs in this process. We also discuss the challenges associated with using LLMs for financial risk prediction and explore the potential of combining them with multimodal data for this purpose.

연구 동기 및 목표

• 기존 연구가 주로 요약, 질의응답 또는 주가 방향 예측에 집중함에 따라, 대규모 언어 모델(LLMs)을 재무 리스크 예측에 적용하는 데서 발생하는 격차를 해소한다.
• 텍스트 및 음성 수익성 회의 통화록(Earnings Conference Calls, ECCs), 시계열 시장 데이터, 맥락 기반 뉴스와 같은 다중모달 및 다중소스 재무 데이터를 통합하여 단일 리스크 예측 프레임워크를 구축한다.
• 포괄적이고 다중 작업 기반의 재무 리스크 예측을 가능하게 하며, 더 높은 해석 가능성과 적응 가능성까지 확보하는 모듈러하고 다단계 프레임워크를 개발한다.
• 각 데이터 소스와 구성 요소가 리스크 예측 성능 향상에 기여하는 정도를 점진적으로 평가함으로써, 특히 중기 및 장기 리스크 평가에서의 가치를 입증한다.
• 기존의 감독 학습 모델의 한계를 극복하기 위해, LLM의 제로샷 일반화 및 맥락 기반 추론 능력을 활용하여 도메인 적응성과 강건성을 향상시킨다.

제안 방법

• LLMs를 활용하여 텍스트 및 음성 특징을 추출하고 분석하는 전용 수익성 회의 통화록(Earnings Conference Call, ECC) 인코더를 도입하며, 톤, 발화 속도, 감성 등 요소를 포함한다.
• ECC 일자 이전의 역사적 시장 데이터를 처리하기 위해 시계열 인코더를 구현하여, 단기, 중기, 장기 등 다양한 시간 프레임에서 리스크 역학을 모델링한다.
• 매일의 금융 뉴스를 LLM을 통해 수집하고 분석하는 뉴스-마켓 반응 인코더를 활용하여 시장 감성과 이벤트 기반 반응을 포착한다.
• 다중모달 융합 기법—특히 다중헤드 자기어텐션 메커니즘—을 적용하여 세 개의 인코더에서 유도된 특징을 통합된 표현으로 통합하여 리스크 예측에 활용한다.
• 유연한 매일 재학습과 예측 시의성 및 정확도 향상을 위해 동적 이동 시간 창과 시간 감쇠 하이퍼파rameter를 도입한다.
• 다중 작업 학습 목표를 기반으로 시장 변동성과 VaR(Value-at-Risk)를 다양한 예측 기간(1, 7, 15, 30일)에 걸쳐 예측하는 데에 RiskLabs 프레임워크를 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 다중모달 및 다중소스 데이터와 통합된 LLM이 재무 리스크 예측 성능에 얼마나 기여하는가?
• RQ2 수익성 회의 통화록 텍스트, 음성, 시계열 데이터, 뉴스 등 다양한 데이터 소스가 리스크 예측 성능에 개별적으로 및 종합적으로 기여하는 정도는 어떠한가?
• RQ3 LLM 기반 처리가 단기, 중기, 장기 예측 기간에 걸쳐 변동성과 VaR 예측 정확도에 미치는 영향은 무엇인가?
• RQ4 수익성 회의 통화록의 음성 및 텍스트 특징을 통합함으로써 텍스트 전용 모델 대비 리스크 예측 성능이 얼마나 향상되는가?
• RQ5 뉴스 데이터 통합을 확장할 때 발생하는 과제는 무엇이며, 실세계 구현에서 데이터 품질과 모델 강건성을 유지하기 위해선 어떤 전략이 필요한가?

주요 결과

• RiskLabs는 대규모 언어 모델 기반의 수익성 회의 통화록 분석, 시계열 데이터, 뉴스 통합을 통해 재무 리스크 예측 성능을 크게 향상시키며, 고립된 데이터 소스를 사용하는 모델보다 뛰어난 성능을 보인다.
• 수익성 회의 통화록의 음성 및 텍스트 특징 통합은 특히 단기 리스크 예측에서 명확한 성능 향상을 이끌어내며, 발화 특징이 예측가치를 지닌다는 것을 입증한다.
• ECC 일자 이전의 시계열 데이터 통합은 중기 및 장기 예측(7, 15, 30일)에서 모델 성능 향상에 기여하며, 역사적 시장 맥락의 중요성을 강조한다.
• 적절히 필터링된 뉴스-마켓 반응 인코더는 성능 향상에 기여하지만, 데이터 품질 문제는 여전히 도전 과제이며 고도의 필터링 및 동적 데이터 관리 전략이 필요하다.
• 절단 실험(ablation studies) 결과, RiskLabs의 각 구성 요소—ECC, 시계열, 뉴스 인코더—가 최종 예측 정확도 향상에 의미 있고 독립적인 기여를 한다는 것이 확인되었다.
• 동적 시간 창과 시간 감쇠 하이퍼파rameter의 활용은 더 유연하고 적시적인 리스크 예측을 가능하게 하여, 투자자 대상 실용성과 유용성을 높였다.