[논문 리뷰] Modeling, Visualization, and Analysis of African Innovation Performance

Muhammad Omer, Moayad El-Amin외 2명|arXiv (Cornell University)|2020. 08. 18.

Innovation Diffusion and Forecasting참고 문헌 4인용 수 7

한 줄 요약

이 논문은 글로벌 혁신 지수(GII)의 모바일 앱 제작 지표와 아프리카의 혁신 출력 하위지수를 예측하기 위해 스택 오버플로우 개발자 설문조사의 대체 데이터 및 기계학습 모델을 사용하는 것을 제안한다. 설문조사 데이터에서 약한 상관관계가 관찰됨에도 불구하고, XGBoost는 아프리카 혁신 성과 예측에서 다른 모델들을 능가했으며, 규제 품질과 환경 기준과 같은 핵심 정책 수단을 드러냈다.

ABSTRACT

In this paper we discuss the concepts and emergence of Innovation Performance, and how to quantify it, primarily working with data from the Global Innovation Index, with emphasis on the African Innovation Performance. We briefly overview existing literature on using machine learning for modeling innovation performance, and use simple machine learning techniques, to analyze and predict the "Mobile App Creation Indicator" from the Global Innovation Index, by using insights from the stack-overflow developers survey. Also, we build and compare models to predict the Innovation Output Sub-index, also from the Global Innovation Index.

연구 동기 및 목표

• 글로벌 지수에서 누락되거나 편향된 데이터로 인해 아프리카에서 정확하고 세밀한 혁신 성과 측정이 부족한 데 대응하기 위해.
• 특히 스택 오버플로우 개발자 설문조사 데이터와 같은 대체 데이터 소스를 활용해 혁신 지표 예측의 가능성을 탐색하기 위해.
• 모바일 앱 제작 지표와 아프리카의 혁신 출력 하위지수를 예측하기 위한 기계학습 모델을 구축하고 비교하기 위해.
• 상관관계 분석 및 모델 분석을 통해 아프리카 국가의 혁신 성과에 영향을 미치는 정책 관련 요인을 특정하기 위해.
• 특히 아프리카를 포함한 개발도상 지역에서 현장 기반 혁신 측정 및 데이터 기반 정책 수립을 촉진하기 위해.

제안 방법

• 스택 오버플로우의 연간 설문조사를 통해 90,000명 이상의 개발자로부터 데이터를 수집하고 처리하였으며, 소프트웨어 개발 및 국가 혁신 능력과 관련된 30개 질문에 집중하였다.
• 국가별로 설문 응답을 평균화하고 원-핫 인코딩하여 GII 데이터 구조와 일치시켜 모델 입력에 활용하였다.
• 설문에서 유도된 특징와 모바일 앱 제작 지표 간의 상관관계 매트릭스를 구성하여 관련성 여부를 평가하였다.
• 10겹 교차검증과 RMSE를 평가 지표로 사용하여 네 가지 기계학습 모델(Gaussian Process, XGBoost, SVM, Random Forest)을 훈련하고 비교하였다.
• 아프리카 혁신 성과 분석을 위해 2014년부터 2019년까지 36개 아프리카 국가의 GII 데이터를 추출하였으며, 지역적 대표성을 유지하기 위해 완전하지 않은 국가 프로필도 유지하였다.
• 같은 네 가지 모델을 사용하여 81개의 GII 지표를 기반으로 혁신 출력 하위지수를 예측하고, geopandas를 활용해 지도 기반으로 추세를 시각화하였다.

실험 결과

연구 질문

• RQ1 스택 오버플로우 개발자 설문조사 데이터가 글로벌 혁신 지수(GII)의 모바일 앱 제작 지표를 예측하는 데 신뢰할 수 있는 대체 지표로 활용될 수 있는가?
• RQ2 GII 지표를 사용할 때 기계학습 모델의 성능은 아프리카의 혁신 성과 예측에서 어떻게 상호 비교되는가?
• RQ3 아프리카 국가에서 혁신 출력과 가장 강하게 상관관계가 있는 제도적 및 정책적 요인은 무엇인가?
• RQ4 현재 GII의 방법론이 개발도상국, 특히 아프리카에서 현장 기반 혁신을 얼마나 체계적으로 반영하지 못하고 있는가?
• RQ5 규제 품질이나 환경 기준과 같은 정책 수단이 아프리카의 혁신 성과에 중요한 예측 변수로 드러나는가?

주요 결과

• 스택 오버플로우 설문조사 데이터와 모바일 앱 제작 지표 간의 상관관계는 약했으며, 이는 GII의 상향식, 기업 기반의 방법론이 현지 및 현장 기반 혁신가를 충분히 반영하지 못하고 있음을 시사한다.
• XGBoost는 아프리카 국가의 혁신 출력 하위지수 예측에서 모든 다른 모델을 능가했으며, 교차검증에서 가장 낮은 RMSE를 기록했다.
• 규제 품질은 혁신 출력 하위지수와 강한 정적 상관관계를 보였으며, 효과적인 거버넌스가 혁신 성과를 향상시킨다는 것을 시사한다.
• 정부 온라인 서비스와 법치는 혁신 출력과도 정적 상관관계를 보였으며, 제도적 품질의 역할을 강화한다.
• ISO 14001 환경 인증은 혁신 출력과 뚜렷한 높은 정적 상관관계를 보였으며, 이는 환경 지속 가능성과 혁신 간의 긍정적 상관관계를 암시한다.
• 본 연구는 GII의 현재 방법론이 개발도상국에서 비공식적, 프리랜서, 초기 단계의 혁신가들을 체계적으로 배제하고 있음을 드러내었으며, 이에 따라 대체 데이터 소스와 측정 프레임워크가 필요하다고 밝혔다.