[논문 리뷰] SSFF: Investigating LLM Predictive Capabilities for Startup Success through a Multi-Agent Framework with Enhanced Explainability and Performance

Xisen Wang, Yigit Ihlamur외 1명|arXiv (Cornell University)|2024. 05. 29.

Private Equity and Venture CapitalBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 외부 지식, 예측 기계학습(랜덤 포레스트, 신경망), 고급 프롬프팅을 통합하여 초기 스타트업을 자동으로 평가하는 LLM 기반의 다중 에이전트 시스템인 스타트업 성공 예측 프레임워크(SSFF)를 소개한다. 최소한의 입력 데이터와 실시간 시장 정보를 바탕으로 전문 벤처 캐피탈리스트 수준의 높은 정확도와 해석 가능한 예측을 달성한다.

ABSTRACT

LLM based agents have recently demonstrated strong potential in automating complex tasks, yet accurately predicting startup success remains an open challenge with few benchmarks and tailored frameworks. To address these limitations, we propose the Startup Success Forecasting Framework, an autonomous system that emulates the reasoning of venture capital analysts through a multi agent collaboration model. Our framework integrates traditional machine learning methods such as random forests and neural networks within a retrieval augmented generation framework composed of three interconnected modules: a prediction block, an analysis block, and an external knowledge block. We evaluate our framework and identify three main findings. First, by leveraging founder segmentation, startups led by L5 founders are 3.79 times more likely to succeed than those led by L1 founders. Second, baseline large language models consistently overpredict startup success and struggle under realistic class imbalances largely due to overreliance on founder claims. Third, our framework significantly enhances prediction accuracy, yielding a 108.3 percent relative improvement over GPT 4o mini and a 30.8 percent relative improvement over GPT 4o. These results demonstrate the value of a multi agent approach combined with discriminative machine learning in mitigating the limitations of standard large language model based prediction methods.

연구 동기 및 목표

• 기존에 전문가의 직관에 의존하고 편향이 발생하기 쉬운 초기 스타트업 평가 과정의 자동화에 도전한다.
• LLM의 예측 신뢰성에 한계가 있는 점(허구적 생성, 모호한 의미 등)을 보완하기 위해 구조화된 기계학습과 결합함으로써 예측 정확도를 향상시킨다.
• 최소한의 창업가 입력과 실시간 외부 데이터를 활용해 정확도를 높이는 확장 가능한 자동화 파이프라인을 개발한다.
• 벤처 캐피탈 의사결정 과정을 종단 간 모방하는 모듈러하고 해석 가능한 에이전트 아키텍처를 구축한다.
• 정성적 및 정량적 평가를 통합한 유일한 프레임워크로 AI 기반 벤처 캐피탈 분석의 기준을 설정한다.

제안 방법

• SSFF는 세 가지 블록 아키텍처를 사용한다: 예측 블록(랜덤 포레스트 및 신경망), 분석가 블록(LLM 에이전트가 VC 스타일의 추론을 위해 최신 기술 프롬프팅을 활용), 외부 지식 블록(실시간 데이터 검색).
• 벤처 캐피탈 스카웃 에이전트가 스타트업 입력을 18개의 핵심 차원으로 통합하여 다수의 분석 에이전트 간의 구조화된 분석을 가능하게 한다.
• 14개의 맞춤형 질문에 기반해 예비 성공 예측을 생성하기 위해 훈련된 결정 트리 모델을 사용한다.
• 창업가 수준의 세분화 및 군집화를 적용해 창업가 중심의 통찰을 정교화하며, 창업가-아이디어 적합도 모델은 임bedding 기반으로 정량적 적합도 점수를 계산한다.
• 외부 지식 블록은 현재의 시장 정보 및 뉴스를 검색하여 시장 분석가 및 제품 분석가의 데이터를 풍부하게 한다.
• 주요 분석가 에이전트는 모든 출력을 통합하여 종합적이고 해석 가능한 보고서를 생성하며, 이는 예측 분석과 전략적 통찰을 융합한다.

실험 결과

연구 질문

• RQ1 최소한의 입력으로 초기 스타트업을 평가할 때 다중 에이전트 LLM 프레임워크가 벤처 캐피탈리스트의 사고 방식을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 전통적인 기계학습(랜덤 포레스트, 신경망)과 LLM을 결합함으로써, 제로샷 LLM에 비해 예측 정확도가 얼마나 향상되는가?
• RQ3 실시간 외부 지식 검색이 스타트업 성공 예측의 강건성과 관련성에 얼마나 기여하는가?
• RQ4 해석 가능한 AI 구성 요소(예: 결정 트리, 군집화, 임bedding 기반 적합도 점수)가 자동화된 스타트업 평가의 투명성과 신뢰도를 향상시키는가?
• RQ5 SSFF의 모듈러하고 에이전트 기반 설계가 확장성, 적응성, 향후 새로운 데이터 소스 통합을 어떻게 지원하는가?

주요 결과

• SSFF는 효율성, 분석의 철저함, 깊이, 신뢰성, 시의성 면에서 제로샷 GPT 응답에 비해 뚜렷이 뛰어나다.
• 다양한 스타트업 사례에서 경험 많은 벤처 캐피탈리스트의 수준과 비교해도 예측 정확도가 유사하거나 이를 초월한다.
• 실시간 외부 지식과 시장 정보 통합은 예측의 관련성을 높이며 동적인 시장 조건을 반영한다.
• 임bedding과 정밀화 기법을 기반으로 한 창업가-아이디어 적합도 모델은 창업가 배경과 아이디어의 일치와 관련된 고유한 성공 패턴을 성공적으로 포착한다.
• 퍼지 랜덤 포레스트 알고리즘은 스타트업 데이터에서 흔히 발생하는 불확실성과 모호한 입력을 효과적으로 처리하는 데 새로운 효과를 보였다.
• 모듈러 아키텍처는 향후 확장성 보장이 가능하며, 데이터 룸, CRM 시스템, 제품 로그 등과의 통합을 통해 더 깊은 디유디런스를 가능하게 한다.