[論文レビュー] Modeling, Visualization, and Analysis of African Innovation Performance

Muhammad Omer, Moayad El-Amin+2 more|arXiv (Cornell University)|Aug 18, 2020

Innovation Diffusion and Forecasting参考文献 4被引用数 7

ひとこと要約

本稿では、Global Innovation Index (GII) のモバイルアプリ作成指標およびアフリカのイノベーション成果出力副指数を予測するために、Stack Overflow開発者調査からの代替データと機械学習モデルの使用を提案する。調査データにおける相関が弱いにもかかわらず、XGBoostはアフリカにおけるイノベーションパフォーマンス予測において他のモデルを上回り、規制品質や環境基準といった重要な政策的要因を明らかにした。

ABSTRACT

In this paper we discuss the concepts and emergence of Innovation Performance, and how to quantify it, primarily working with data from the Global Innovation Index, with emphasis on the African Innovation Performance. We briefly overview existing literature on using machine learning for modeling innovation performance, and use simple machine learning techniques, to analyze and predict the "Mobile App Creation Indicator" from the Global Innovation Index, by using insights from the stack-overflow developers survey. Also, we build and compare models to predict the Innovation Output Sub-index, also from the Global Innovation Index.

研究の動機と目的

• グローバルインデックスにおける欠落またはバイアスがかかるデータのため、アフリカにおける正確で詳細なイノベーションパフォーマンス測定の不足に対処するため。
• 特にStack Overflow開発者調査データという代替データソースを活用することで、イノベーション指標の予測精度を向上させる可能性を検討するため。
• モバイルアプリ作成指標およびアフリカのイノベーション成果出力副指数を予測するための機械学習モデルを構築し、比較するため。
• 相関分析およびモデル分析を用いて、アフリカ諸国のイノベーションパフォーマンスに影響を与える政策関連要因を同定するため。
• 特にアフリカを含む発展途上地域における草の根のイノベーション測定とデータドリブンな政策立案の推進を提言するため。

提案手法

• 年次調査を通じて90,000人以上の開発者から収集・処理された調査データを、ソフトウェア開発および国家イノベーション能力に関連する30の質問に焦点を当てて分析した。
• 国ごとの回答を平均化およびワンホットエンコーディングし、モデル入力用にGlobal Innovation Index (GII) のデータ構造に一致させた。
• 調査から得た特徴量とモバイルアプリ作成指標との間の相関行列を作成し、関連性を評価した。
• 10分割交差検証とRMSEを評価指標として用い、ガウス過程、XGBoost、SVM、ランダムフォレストの4つの機械学習モデルを訓練および比較した。
• アフリカにおけるイノベーションパフォーマンスの分析のために、2014年から2019年までの36か国のGIIデータを抽出し、地域的代表性を保つために不完全な国プロファイルも保持した。
• 81のGII指標を用いて、イノベーション成果出力副指数を予測するための同じ4つのモデルを適用し、geopandasを用いて地理的傾向を可視化した。

実験結果

リサーチクエスチョン

• RQ1 Stack Overflowの開発者調査データは、Global Innovation Indexのモバイルアプリ作成指標を予測する信頼できる代理指標として機能するか？
• RQ2 GII指標を用いた場合、異なる機械学習モデルはアフリカにおけるイノベーションパフォーマンス予測においてどのように比較されるか？
• RQ3 アフリカ諸国のイノベーション出力に最も強く相関する制度的および政策的要因は何か？
• RQ4 現在のGIIの手法は、特にアフリカを含む発展途上国における草の根イノベーションをどの程度正しく捉えていないか？
• RQ5 規制品質や環境基準といった政策的要因は、アフリカにおけるイノベーションパフォーマンスの予測要因として顕著に顕在するか？

主な発見

• Stack Overflow調査データとモバイルアプリ作成指標との間には弱い相関が認められ、GIIの上位から下位への企業起源の手法が、地域的・草の根のイノベータを過小評価している可能性を示唆した。
• XGBoostは、アフリカ諸国のイノベーション成果出力副指数を予測する際、交差検証で最小のRMSEを達成し、他のすべてのモデルを上回った。
• 規制品質はイノベーション成果出力副指数と強く正の相関を示し、効果的なガバナンスがイノベーションパフォーマンスを向上させることを示唆した。
• 政府のオンラインサービスおよび法の支配もイノベーション出力と正の相関を示し、制度的質の重要性を裏付けた。
• ISO 14001環境認証は、イノベーション出力と顕著に高い正の相関を示し、環境持続可能性がアフリカにおけるイノベーションを促進する可能性があることを示唆した。
• 本研究は、GIIの現在の手法が、発展途上国における非公式な、フリーランスの、および初期段階のイノベータを体系的に排除していることを明らかにした。これにより、代替データソースと測定フレームワークの導入が不可欠であると結論づけた。