[論文レビュー] Startup success prediction and VC portfolio simulation using CrunchBase data

Mark Potanin, Andrey Chertok+2 more|arXiv (Cornell University)|Sep 27, 2023

Private Equity and Venture CapitalBusiness, Management and Accounting被引用数 3

ひとこと要約

本論文では、CrunchBaseデータを用いてシリーズB/C段階のスタートアップ成功を予測するディープラーニングモデルを提案する。資金調達指標、創業者特性、業界データを統合し、ベンチャキャピタルポートフォリオの厳密なバックテストシミュレーションを実施。リヴォルトやGitHubのようなハイパフォーマンススタートアップを特定する際、14倍の資本成長と86％のAUCを達成した。

ABSTRACT

Predicting startup success presents a formidable challenge due to the inherently volatile landscape of the entrepreneurial ecosystem. The advent of extensive databases like Crunchbase jointly with available open data enables the application of machine learning and artificial intelligence for more accurate predictive analytics. This paper focuses on startups at their Series B and Series C investment stages, aiming to predict key success milestones such as achieving an Initial Public Offering (IPO), attaining unicorn status, or executing a successful Merger and Acquisition (M\&A). We introduce novel deep learning model for predicting startup success, integrating a variety of factors such as funding metrics, founder features, industry category. A distinctive feature of our research is the use of a comprehensive backtesting algorithm designed to simulate the venture capital investment process. This simulation allows for a robust evaluation of our model's performance against historical data, providing actionable insights into its practical utility in real-world investment contexts. Evaluating our model on Crunchbase's, we achieved a 14 times capital growth and successfully identified on B round high-potential startups including Revolut, DigitalOcean, Klarna, Github and others. Our empirical findings illuminate the importance of incorporating diverse feature sets in enhancing the model's predictive accuracy. In summary, our work demonstrates the considerable promise of deep learning models and alternative unstructured data in predicting startup success and sets the stage for future advancements in this research area.

研究の動機と目的

• 機械学習を用いて、IPO、M&A、ユニコーンステータスなどのスタートアップ成功マイルストーンの予測精度を向上させること。
• 歴史的バックテストを通じて、実際のベンチャキャピタルファンド運用をシミュレートし、実投資文脈におけるモデルの性能を評価すること。
• 資金調達履歴、創業者特性、業界分類などの異種データソースを統合し、予測性能を向上させること。
• 訓練データに、投資意思決定時までに入手可能だった情報のみを含めるようにすることで、データ漏洩を最小限に抑えること。
• IPOやM&A、ユニコーンステータスの前段階でハイパフォーマンススタートアップを特定できる、実用的イン사이트をVCに提供すること。

提案手法

• 資金調達ラウンド、創業者背景、業界分類などの特徴を用いて、34,470件のスタートアップからなるデータセットでディープラーニングモデルを訓練した。
• 予測基準と歴史的データの可用性に基づいてスタートアップを選抜することで、ファンド運用をシミュレートするバックテストアルゴリズムを実装した。
• データ漏洩を防ぐために、厳密な時間的制約を適用し、各投資ラウンドの前までに入手可能だった情報のみを訓練に使用した。
• 投資ルールを定義：評価額が10億ドル未満で、非常に大きな資金調達ラウンドでない場合にポートフォリオに追加。評価額が25億ドルに達する、または3年間資金調達がなかった場合は除外。
• IPO、買収、ユニコーンステータスの達成を成功と定義し、資本成長とROC AUC指標を用いてポートフォリオのパフォーマンスを算出した。
• 今後のモデル強化のため、ソーシャルメディア、企業ウェブサイト、インvestorプロファイルなどの代替データソースの活用を検討した。

実験結果

リサーチクエスチョン

• RQ1 CrunchBaseデータを用いてトレーニングされたディープラーニングモデルは、シリーズB/C段階におけるIPO、M&A、ユニコーンステータスなどの成功マイルストーンを正確に予測できるか？
• RQ2 ベンチャキャピタルファンド運用のバックテストシミュレーションは、スタートアップ予測モデルの実世界でのパフォーマンスを評価するためにどの程度有効か？
• RQ3 特に創業者レベルの特徴と資金調達指標を含む多様な入力特徴は、数値特徴のみに比べて、予測精度をどの程度向上させるか？
• RQ4 本モデルを用いたシミュレーテッドVCファンドの経済的インパクトは何か？また、伝統的な直感ベースの投資と比較してどうか？
• RQ5 ソーシャルメディア、企業ウェブサイトなどの追加の非構造化データは、モデルの予測性能とポートフォリオシミュレーションの正確性をどの程度向上させられるか？

主な発見

• モデルは86％のROC_AUCスコアを達成し、成功スタートアップと失敗スタートアップを明確に識別する強力な判別性能を示した。
• 2016年から2021年のバックテスト期間中に、シミュレーテッドVCファンドは14倍の資本成長を達成し、顕著な経済的ポentialを示した。
• モデルは、リヴォルト、デジタルオーシャン、クラーナ、GitHubといったハイパフォーマンススタートアップを、主要な成功マイルストーンの前に対象に特定した。
• 創業者背景、投資家ネットワーク、資金調達履歴を含む異種特徴の統合が、予測精度を顕著に向上させた。
• バックテストフレームワークは、データ漏洩を回避しながら、現実のファンド運用を効果的にシミュレートでき、モデルパフォーマンスの公平かつ現実的な評価を可能にした。
• 今後の改善策として、LinkedIn、Twitter、企業ウェブサイトからのテキストデータの統合、および早期に設立されたスタートアップを含めるフィルタの調整が考えられる。