[논문 리뷰] Picking Winners: A Data Driven Approach to Evaluating the Quality of Startup Companies

David Scott Hunter, Ajay Saini외 1명|arXiv (Cornell University)|2017. 06. 13.

Private Equity and Venture Capital인용 수 6

한 줄 요약

이 논문은 창업자, 산업 부문, 투자자 특성 데이터를 기반으로 브라운 운동의 첫 번째 통과 시간을 사용하여 스타트업 품질을 평가하는 데이터 기반의 확률적 모델을 제안한다. 베이지안 추론과 탐욕적 조합 최적화를 활용해, 최대 60%의 탈출 비율을 달성하는 포트폴리오를 구성하며, 이는 최고의 벤처 캐피탈 기업의 수준의 거의 두 배에 이르며, 높은 수익을 얻는 스타트업의 결과를 예측하는 데 있어 뛰어난 성능을 입증한다.

ABSTRACT

We consider the problem of evaluating the quality of startup companies. This can be quite challenging due to the rarity of successful startup companies and the complexity of factors which impact such success. In this work we collect data on tens of thousands of startup companies, their performance, the backgrounds of their founders, and their investors. We develop a novel model for the success of a startup company based on the first passage time of a Brownian motion. The drift and diffusion of the Brownian motion associated with a startup company are a function of features based its sector, founders, and initial investors. All features are calculated using our massive dataset. Using a Bayesian approach, we are able to obtain quantitative insights about the features of successful startup companies from our model. To test the performance of our model, we use it to build a portfolio of companies where the goal is to maximize the probability of having at least one company achieve an exit (IPO or acquisition), which we refer to as winning. This $\ extit{picking winners}$ framework is very general and can be used to model many problems with low probability, high reward outcomes, such as pharmaceutical companies choosing drugs to develop or studios selecting movies to produce. We frame the construction of a picking winners portfolio as a combinatorial optimization problem and show that a greedy solution has strong performance guarantees. We apply the picking winners framework to the problem of choosing a portfolio of startup companies. Using our model for the exit probabilities, we are able to construct out of sample portfolios which achieve exit rates as high as 60%, which is nearly double that of top venture capital firms.

연구 동기 및 목표

• 초기 단계의 데이터가 제한된 상황에서도 정량적이고 데이터 기반의 스타트업 품질 평가 프레임워크를 개발하기 위해.
• 창업자의 배경, 산업 부문, 투자자 정보로부터 유도된 비율과 산산각도를 가진 브라운 운동을 사용하여 스타트업의 진화를 첫 번째 통과 시간 문제로 모델링하기 위해.
• 최소한 하나의 성공적 탈출(상장 또는 인수) 확률을 최대화하는 포트폴리오 최적화 전략을 수립하여 '승자 선별'을 목표로 하기 위해.
• 모델의 유효성을 검증하기 위해 샘플 외 포트폴리오를 사용하고, 최고의 벤처 캐피탈 성과와 비교하기 위해.
• 공개된 데이터만을 사용하여 기관 투자자와 소액 투자자 모두가 확장 가능하고 원칙적인 방법으로 초기 단계 스타트업을 선별할 수 있도록 지원하기 위해.

제안 방법

• 스타트업 성공을 시간에 따라 동일한 브라운 운동의 첫 번째 통과 시간으로 모델링하며, 비율과 산산각도는 스타트업 특성의 함수로 정의한다.
• 스택스의 불확실성 예측을 반영하기 위해 브라운 운동의 모수를 추정하기 위해 계층 베이지안 모델을 사용한다.
• 창업자 배경, 산업 부문, 초기 투자자 정보를 포함한 수천 개의 스타트업으로 구성된 대규모 데이터셋에서 탈출 확률 추정치를 구축한다.
• 선택된 스타트업들 중 최소한 하나의 탈출 확률을 최대화하기 위해 포트폴리오 구성 문제를 조합 최적화 문제로 재정의한다.
• 강력한 이론적 성능 보장을 갖춘 탐욕 알고리즘을 적용하여 영향력이 큰 스타트업 포트폴리오를 선별한다.
• 이질분산 독립 및 상관 모델, 그리고 강건한 변형 모델을 사용하여 여러 해(2011–2012) 동안 모델을 테스트한다.

실험 결과

연구 질문

• RQ1 창업자, 산업 부문, 투자자 데이터만을 사용하여 브라운 운동의 첫 번째 통과 시간 기반의 확률적 모델이 스타트업 탈출 결과를 효과적으로 예측할 수 있는가?
• RQ2 동분산 대비 이질분산, 독립 대비 상관 모델의 다양한 가정이 탈출 확률 예측의 정확성과 강건성에 어떤 영향을 미치는가?
• RQ3 탐욕적 조합 최적화 접근법이 최소한 하나의 탈출 확률을 최대화하기 위해 포트폴리오를 선택할 때 강력한 성능 보장을 달성할 수 있는가?
• RQ4 공개된 데이터만을 사용하여 이 모델이 최고 수준의 벤처 캐피탈 기업보다 탈출 비율에서 얼마나 뛰어나게 성과를 낼 수 있는가?
• RQ5 이 모델은 스타트업 외에도 약물 개발이나 영화 제작과 같이 낮은 확률이지만 높은 보상을 얻는 선택 문제에 일반화될 수 있는가?

주요 결과

• 모델은 샘플 외 스타트업 포트폴리오를 구성하여 최대 60%의 탈출 비율을 달성하며, 일반적으로 30% 정도의 탈출 비율을 기록하는 최고의 벤처 캐피탈 기업보다 뚜렷이 뛰어나다.
• 강건한 이질분산 상관 모델을 사용한 2012년 포트폴리오의 누적 목적 함수 값은 1.0을 기록하여, 상위 선택된 스타트업들 중 최소한 하나의 탈출 확률이 100%임을 나타낸다.
• 탐욕 최적화 알고리즘이 강력한 성능 보장을 달성했으며, 무작위 또는 히وري스틱 대안보다 항상 더 높은 탈출 확률을 가진 포트폴리오를 지속적으로 선별했다.
• 모델의 탈출 확률 추정치는 창업자와 투자자의 품질에 매우 민감했으며, 최고 수준의 창업자와 투자자는 비율 파rameter를 증가시켜 조기에 탈출할 가능성을 높였다.
• 이질분산 상관 모델은 단순한 모델보다 진정된 분산과 상관관계를 더 잘 포착했으며, 특히 불확실성이 높은 상황에서 성능이 뛰어났다.
• 이 프레임워크는 이후 인수 또는 대규모 투자 라운드를 거친 스트루크, 펀지오, 메타레졸버와 같은 고잠재력 스타트업을 성공적으로 식별하여, 모델의 예측 능력을 검증했다.