[논문 리뷰] Multimodal Gen-AI for Fundamental Investment Research

Lezhi Li, Ting‐Yu Chang외 1명|arXiv (Cornell University)|2023. 12. 24.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

이 논문은 기관 금융 데이터를 사용하여 Llama2와 GPT-3.5를 피지터닝하여 투자 연구 작업, 예를 들어 이벤트 영향 분석, 시장 조건에 대한 추론, 투자자 기반 주식 추천 등을 자동화하는 다중모달 생성형 AI 프레임워크를 제안한다. 이 시스템은 지도 학습 및 LoRA 피지터링을 통해 요약, 추론, 영역 특화 질문-답변 과제에서 뛰어난 성능을 달성하며, 기본 투자에서 수동 작업을 줄일 수 있는 인공지능 에이전트로의 유망한 길을 제시한다.

ABSTRACT

This report outlines a transformative initiative in the financial investment industry, where the conventional decision-making process, laden with labor-intensive tasks such as sifting through voluminous documents, is being reimagined. Leveraging language models, our experiments aim to automate information summarization and investment idea generation. We seek to evaluate the effectiveness of fine-tuning methods on a base model (Llama2) to achieve specific application-level goals, including providing insights into the impact of events on companies and sectors, understanding market condition relationships, generating investor-aligned investment ideas, and formatting results with stock recommendations and detailed explanations. Through state-of-the-art generative modeling techniques, the ultimate objective is to develop an AI agent prototype, liberating human investors from repetitive tasks and allowing a focus on high-level strategic thinking. The project encompasses a diverse corpus dataset, including research reports, investment memos, market news, and extensive time-series market data. We conducted three experiments applying unsupervised and supervised LoRA fine-tuning on the llama2_7b_hf_chat as the base model, as well as instruction fine-tuning on the GPT3.5 model. Statistical and human evaluations both show that the fine-tuned versions perform better in solving text modeling, summarization, reasoning, and finance domain questions, demonstrating a pivotal step towards enhancing decision-making processes in the financial domain. Code implementation for the project can be found on GitHub: https://github.com/Firenze11/finance_lm.

연구 동기 및 목표

• 기본 투자 연구의 노동 집약적인 측면, 예를 들어 문서 요약 및 투자 아이디어 생성을 자동화하기 위해.
• 다양한 LLM 피지터링 전략—특히 LoRA 및 지시 훈련—이 금융 분야 과제에서의 효과성을 평가하기 위해.
• 주식 추천, 상위 세 가지 이유, 그리고 상세한 설명을 포함한 구조화된 투자 출력을 생성하는 AI 에이전트 프로토타입을 개발하기 위해.
• 시장 조건(예: 밸류에이션, 유동성)과 주가 움직임 간의 관계를 추론할 수 있도록 모델의 의사결정 능력을 향상시키기 위해.
• 독점적인 기관 연구 보고서와 시장 데이터를 통합하여, 일반 뉴스 및 일반 코퍼스만으로 훈련된 모델보다 성능을 향상시키기 위해.

제안 방법

• 정제된 금융 코퍼스를 기반으로 비지도 및 지도 학습을 통한 LoRA(Low-Rank Adaptation) 기법을 사용해 Llama2-7B-chat 모델을 피지터링하였다.
• 투자 메모 및 연구 보고서에서 유도된 정제된 지시-출력 쌍을 사용하여 GPT-3.5 모델에 지시 훈련을 적용하였다.
• 중앙은행 보고서, 주식 연구, 마켓 워프, 투자 원칙, 시계열 시장 데이터를 포함한 다양한 데이터셋을 구축하였다.
• 요약, 추론, 금융 전용 질문-답변 과제 등에서 통계적 지표와 인간 평가를 병행하여 모델 성능을 평가하였다.
• 투자자 철학에 부합하는 주식 추천, 세 가지 근거, 그리고 상세한 설명을 포함한 출력을 구조화하였다.
• 보고서를 거시적 수준에서 주식 수준까지 계층적으로 분류하는 데이터 파이프라인을 활용하여 모델의 다단계 추론 능력을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 LoRA 또는 지시 훈련 중 어느 피지터링 방법이 금융 추론 및 요약 과제에서 더 높은 성능을 낼 수 있는가?
• RQ2 피지터링된 LLM이 오일 가격 상승과 같은 특정 사건이 영향을 미치는 기업 및 산업 부문을 정확히 식별할 수 있는가?
• RQ3 모델이 시장 조건(예: 시장 심리, 유동성, 기초적 가치)과 주가 움직임 간의 관계를 어느 정도 학습하고 표현할 수 있는가?
• RQ4 모델이 투자자 선호도 및 투자 철학에 부합하는 투자 아이디어를 얼마나 잘 생성할 수 있는가?
• RQ5 모델이 주식 추천 및 다중 근거 설명을 포함한 구조화된, 투자자용으로 바로 사용 가능한 출력을 얼마나 잘 생성할 수 있는가?

주요 결과

• Llama2에 대한 지도 학습 기반 LoRA 피지터링과 GPT-3.5에 대한 지시 훈련 모두 기초 모델 대비 요약, 추론, 영역 특화 질문-답변 과제에서 뛰어난 성능을 보였다.
• 피지터링된 모델들은 오일 가격 변화와 같은 거시경제적 사건이 영향을 미치는 산업 및 주식 수준의 영향을 더 잘 식별하는 능력을 보였다.
• 인간 평가를 통해 모델 출력이 기초 모델 대비 더 명확하고 정확하며 투자자 선호도에 더 부합하는 것으로 확인되었다.
• 시스템은 목표 출력 형식에 부합하는 주식 추천과 상위 세 가지 이유, 그리고 상세한 설명을 포함한 구조화된 투자 추천을 성공적으로 생성하였다.
• 독점적인 기관 연구 보고서 통합은 공개 뉴스만으로 훈련된 모델 대비 모델의 영역 지식을 크게 향상시켰다.
• 통계적 평가를 통해 피지터링된 모델이 요약 및 추론 벤치마크에서 더 높은 F1 및 BLEU 점수를 확보하여 측정 가능한 성능 향상을 입증하였다.