[论文解读] Modeling, Visualization, and Analysis of African Innovation Performance

Muhammad Omer, Moayad El-Amin+2 more|arXiv (Cornell University)|Aug 18, 2020

Innovation Diffusion and Forecasting参考文献 4被引用 7

一句话总结

本文提出利用来自 Stack Overflow 开发者调查的替代数据与机器学习模型，以预测全球创新指数（Global Innovation Index, GII）的移动应用创建指标以及非洲的创新产出次级指数。尽管调查数据的相关性较弱，XGBoost 在预测非洲创新表现方面优于其他模型，揭示了监管质量与环境标准等关键政策杠杆。

ABSTRACT

In this paper we discuss the concepts and emergence of Innovation Performance, and how to quantify it, primarily working with data from the Global Innovation Index, with emphasis on the African Innovation Performance. We briefly overview existing literature on using machine learning for modeling innovation performance, and use simple machine learning techniques, to analyze and predict the "Mobile App Creation Indicator" from the Global Innovation Index, by using insights from the stack-overflow developers survey. Also, we build and compare models to predict the Innovation Output Sub-index, also from the Global Innovation Index.

研究动机与目标

• 为解决由于全球指数中数据缺失或偏差导致非洲缺乏准确、细致的创新表现度量问题。
• 探索使用替代数据源——特别是 Stack Overflow 开发者调查数据——以改进创新指标预测的可行性。
• 构建并比较用于预测移动应用创建指标及非洲创新产出次级指数的机器学习模型。
• 通过相关性与模型分析，识别影响非洲国家创新表现的政策相关因素。
• 倡导在发展地区，特别是非洲，开展基层创新度量与数据驱动的政策制定。

提出的方法

• 通过 Stack Overflow 每年一度的调查，收集并处理了超过 90,000 名开发者的调查数据，重点关注与软件开发和国家创新能力相关的 30 个问题。
• 按国家对调查响应进行平均并进行独热编码，以与全球创新指数（GII）的数据结构对齐，作为模型输入。
• 构建调查衍生特征与移动应用创建指标之间的相关性矩阵，以评估其相关性。
• 使用 10 折交叉验证和均方根误差（RMSE）作为评估指标，训练并比较四种机器学习模型——高斯过程（Gaussian Process）、XGBoost、支持向量机（SVM）和随机森林（Random Forest）。
• 针对非洲创新表现，从 2014 年至 2019 年提取了 36 个非洲国家的 GII 数据，保留了不完整的国家档案以保持区域代表性。
• 使用相同的四种模型预测创新产出次级指数，共使用 81 个 GII 指标，并通过 geopandas 可视化地理趋势。

实验结果

研究问题

• RQ1 Stack Overflow 的开发者调查数据能否作为预测全球创新指数中移动应用创建指标的可靠代理？
• RQ2 在使用 GII 指标预测非洲创新表现时，不同机器学习模型的表现如何比较？
• RQ3 哪些制度与政策因素与非洲国家的创新产出具有最强相关性？
• RQ4 当前 GII 方法论在多大程度上未能捕捉发展中国家，特别是非洲的基层创新？
• RQ5 哪些政策杠杆——如监管质量或环境标准——在非洲成为创新表现的重要预测因子？

主要发现

• Stack Overflow 调查数据与移动应用创建指标之间的相关性较弱，表明 GII 基于企业来源的自上而下的方法论未能充分反映本地与基层创新者。
• XGBoost 在预测非洲国家创新产出次级指数方面优于所有其他模型，在交叉验证中实现了最低的 RMSE。
• 监管质量与创新产出次级指数呈显著正相关，表明有效的治理可增强创新表现。
• 政府在线服务与法治也与创新产出呈正相关，进一步凸显制度质量的作用。
• ISO 14001 环境认证与创新产出表现出显著的高正相关性，暗示环境可持续性可能推动非洲的创新。
• 本研究揭示，当前 GII 方法论系统性地排除了发展中国家的非正式、自由职业及早期阶段创新者，因此亟需替代数据源与测量框架。