[논문 리뷰] DIALECTIC: A Multi-Agent System for Startup Evaluation

Jae Yoon Bae, Simon Malberg외 3명|arXiv (Cornell University)|2026. 02. 19.

Private Equity and Venture Capital인용 수 0

한 줄 요약

DIALECTIC은 LLM 기반 다중 에이전트 시스템으로, 스타트업 사실을 수집하고, 주장 기반의 찬반 토론을 구축하며, 주장을 반복적으로 다듬고, 초기 단계 스타트업 기회를 순위 매기는 의사 결정 점수를 출력한다. 백테스트 데이터에서 인간 VC와 유사한 예측 성능을 달성하면서도 순위화된 의사 결정 경계를 제공한다.

ABSTRACT

Venture capital (VC) investors face a large number of investment opportunities but only invest in few of these, with even fewer ending up successful. Early-stage screening of opportunities is often limited by investor bandwidth, demanding tradeoffs between evaluation diligence and number of opportunities assessed. To ease this tradeoff, we introduce DIALECTIC, an LLM-based multi-agent system for startup evaluation. DIALECTIC first gathers factual knowledge about a startup and organizes these facts into a hierarchical question tree. It then synthesizes the facts into natural-language arguments for and against an investment and iteratively critiques and refines these arguments through a simulated debate, which surfaces only the most convincing arguments. Our system also produces numeric decision scores that allow investors to rank and thus efficiently prioritize opportunities. We evaluate DIALECTIC through backtesting on real investment opportunities aggregated from five VC funds, showing that DIALECTIC matches the precision of human VCs in predicting startup success.

연구 동기 및 목표

• 대역폭 제약 하에서 초기 단계 벤처 선별을 동기를 부여하기 위해 반복적이고 주장 기반의 평가 프레임워크를 도입한다.
• 사실을 수집하고 찬반 주장을 생성하며, 이를 비판하고 다듬고, 투자 점수를 산출하는 구조화된 LLM 구동 파이프라인을 개발한다.
• LLM 주도 하에 사실을 수집하고, 찬반 주장을 생성하며, 이를 비판하고 개선하여 투자 점수를 산출하는 구조를 개발한다.
• 평가 가능성이 인간 VC의 정밀도에 맞추거나 이를 능가하는 해석 가능한 추론과 순위화를 가능하게 하여 선별 처리량을 늘린다.
• 실제 VC 관찰 목록 데이터에서 예측 성능을 입증하고, 증거 출처가 평가에 어떻게 기여하는지 분석한다.

제안 방법

• 일반적인 회사, 팀, 제품, 시장에 대한 시드 질문을 선출하고 이를 업계별 하위 질문으로 분해하여 계층적 사실 트리를 구축한다.
• 답변 에이전트가 회사 특징과 웹 검색을 활용해 질문 트리에 대한 답을 생성하고, 풍부한 사실 기반 F를 산출한다.
• 추론 단계에서 생성자는 각 진영마다 K개의 주장을 만들고, 비판자는 비판을 작성하며, 평가자는 14-기준 체계를 통해 품질 점수를 부여하고, 재정리자는 주장을 반복적으로 개선한다.
• 주장은 생존-적합성 과정으로 T번의 정제 반복을 거쳐, 크기가 같은 긍정 집합과 부정 집합으로 형성된다.
• 의사 결정 점수는 생존한 찬성/반대 주장 품질 점수의 합에서 임계값을 뺀 값으로 계산되며, 점수가 양수이면 투자가 이루어진다.
• 하이퍼파라미터로는 반복당 생존자 K_t, 총 반복 횟수 T, 의사 결정 임계값 tau를 포함하며, 구현은 tailored한 온도 설정의 GPT-5-mini를 사용한다.

실험 결과

연구 질문

• RQ1 반복적이고 주장 기반의 LLM 시스템이 과거 데이터에서 인간 VC의 스타트업 성공 예측 정밀도에 맞출 수 있는가?
• RQ2 구조화된 사실 수집과 변증적 추론이 초기 단계 스타트업 선별의 효율성과 해석 가능성을 향상시키는가?
• RQ3 일반 정보, 팀 정보, 제품 정보, 시장 정보 등 다양한 증거 출처가 주장 전개와 의사 결정 품질에 어떻게 기여하는가?
• RQ4 백테스트 설정에서 예측 성능과 주장 품질의 균형을 맞추기 위한 최적의 하이퍼파라미터(K_T, T, tau)는 무엇인가?

주요 결과

• 가장 성능이 좋은 구성은 사이클 수 T=2와 각 측에서의 주 arguments 수가 K_T=4일 때이다.
• DIALECTIC은 테스트 세트에서 AUC-PR 0.2422를 달성했고, 인간 투자자 및 GPT-IO 프롬프팅 베이스라인과 비슷한 정밀도를 보였다.
• 검증 데이터에 대한 예측 성능은 실제 VC를 능가했고, 테스트 세트 성능은 베이스라인과 유사했다.
• 이 방법은 단일 작동 포인트가 아닌 전체 순위 경계를 출력하므로 선별 용량에 맞춘 임계값 조정이 가능하다.
• 증거 사용은 일반 회사 정보와 제품 정보를 우세하게 사용했고, 팀 정보는 가용성과 비교했을 때 약간 과대표시되었다.