[논문 리뷰] Using Deep Learning to Find the Next Unicorn: A Practical Synthesis

Lele Cao, Vilhelm von Ehrenheim외 3명|arXiv (Cornell University)|2022. 10. 18.

Private Equity and Venture Capital인용 수 6

한 줄 요약

이 논문은 스타트업 성공, 특히 '유니콘' 벤처를 예측하기 위한 딥러닝(DL) 기반 방법의 종합적이고 실용적인 융합을 제시한다. 데이터 수집에서 모델 배포에 이르는 전체 DL 라이프사이클을 체계적으로 분석함으로써 벤처 캐피탈 전문가들이 데이터 기반, 설명 가능하고 인간이 개입하는 딥러닝 시스템을 통해 초기 단계 투자 결정을 향상시킬 수 있는 실질적인 통찰을 제공한다.

ABSTRACT

Startups often represent newly established business models associated with disruptive innovation and high scalability. They are commonly regarded as powerful engines for economic and social development. Meanwhile, startups are heavily constrained by many factors such as limited financial funding and human resources. Therefore, the chance for a startup to eventually succeed is as rare as "spotting a unicorn in the wild". Venture Capital (VC) strives to identify and invest in unicorn startups during their early stages, hoping to gain a high return. To avoid entirely relying on human domain expertise and intuition, investors usually employ data-driven approaches to forecast the success probability of startups. Over the past two decades, the industry has gone through a paradigm shift moving from conventional statistical approaches towards becoming machine-learning (ML) based. Notably, the rapid growth of data volume and variety is quickly ushering in deep learning (DL), a subset of ML, as a potentially superior approach in terms of capacity and expressivity. In this work, we carry out a literature review and synthesis on DL-based approaches, covering the entire DL life cycle. The objective is a) to obtain a thorough and in-depth understanding of the methodologies for startup evaluation using DL, and b) to distil valuable and actionable learning for practitioners. To the best of our knowledge, our work is the first of this kind.

연구 동기 및 목표

• 초기 단계 벤처 캐피탈에서의 높은 위험성과 낮은 정보 수준 문제를 해결하기 위해 직관과 인간의 편향에 대한 의존도를 줄이기 위해.
• 모델 라이프사이클 전반에 걸쳐 기존의 딥러닝 접근법을 융합하여 스타트업 성공 예측에 적용하기 위해.
• 벤처 캐피탈 및 핀테크 분야의 전문가들이 투자 의사결정을 향상시킬 수 있도록 실질적이고 실행 가능한 통찰을 도출하기 위해.
• 실제 배포 환경에서 데이터 처리, 모델 평가, 인간-AI 협업 시의 핵심적인 함정과 최선의 실천 방안을 부각하기 위해.

제안 방법

• 스타트업 성공 예측에 응용된 딥러닝 응용에 대한 체계적 문헌 리뷰를 수행하여 문제 정의 단계부터 모델 제품화까지의 전체 라이프사이클에 중점을 둔다.
• 문제 정의, 성공 정의, 데이터 수집, 데이터 처리, 데이터 분할, 모델 선택, 모델 평가, 모델 설명, 모델 제품화의 아홉 가지 핵심 작업을 포함하는 체계적인 프레임워크를 제안한다.
• 모델의 해석 가능성을 높이기 위해 SHAP(SHapley Additive exPlanations)를 강조하여 기여도 분석을 가능하게 하고 예측에 대한 신뢰도를 향상시킨다.
• 사용자 피드백을 활용해 데이터 드프트와 변화하는 성공 기준을 보완하기 위해 인간이 개입하는 메커니즘을 통합하여 성능 모니터링과 모델 반복 개선을 지원한다.
• 특히 초기 단계에서 레이블이 부족한 상황를 감안해 레이블 효율성이 높은 딥러닝 모델의 활용을 권장한다.
• 지속적인 모니터링과 인간이 레이블링한 데이터를 활용한 재학습의 중요성을 강조하여 변화하는 투자 기준과 데이터 분포의 변화에 대응한다.

실험 결과

연구 질문

• RQ1 딥러닝을 스타트업 성공 예측의 전체 라이프사이클에 체계적으로 적용하여 투자 성과를 향상시키는 방법은 무엇인가?
• RQ2 초기 단계 스타트업에 딥러닝을 적용할 때 데이터 수집, 모델 평가, 배포 단계에서 발생하는 주요 과제와 함정은 무엇인가?
• RQ3 모델 설명 가능성과 인간이 개입하는 피드백 메커니즘은 벤처 캐피탈 환경에서 딥러닝 모델의 신뢰성과 적응 가능성에 어떻게 기여하는가?
• RQ4 데이터 부족, 개인정보 보호, 분포의 변화는 스타트업 평가를 위한 딥러닝 모델의 성능을 제한하는 데 어떤 역할을 하는가?
• RQ5 실제 VC 환경에서 모델의 표현력과 설명 가능성, 운영 가능성의 균형을 어떻게 유지할 수 있는가?

주요 결과

• 이 논문은 스타트업 성공 예측에 응용된 딥러닝 응용에 대해 전체 DL 라이프사이클을 다루는 최초의 종합적 융합이다.
• 생산 환경에서의 모델 성능은 데이터 드프트와 변화하는 성공 정의로 인해 떨어지기 쉬우므로 지속적인 모니터링과 재학습이 필수적이다.
• 사용자 기준이 변화함에 따라 인간이 개입하는 피드백은 장기적으로 모델 정밀도를 유지하는 데 핵심적이다.
• SHAP 기반의 설명 가능성 방법은 높은 모델 복잡성에도 불구하고 기여도 분석을 가능하게 하여 투자자가 모델 결정을 이해하는 데 도움을 준다.
• 대부분의 스타트업 데이터는 아직 레이블이 없고 규모도 작기 때문에 더 높은 데이터 및 레이블 효율성을 갖춘 딥러닝 아키텍처가 필요하다.
• 향후 벤처 캐피탈에서의 딥러닝 도입은 사용자 친화적인 도구, 향상된 데이터 효율성, 개인정보 보호 및 모델 보안에 대한 강조로 이어질 것이다.