[論文レビュー] Harnessing the Power of the Crowd to Increase Capacity for Data Science in the Social Sector

Peter Bull, Isaac Slavitt+1 more|arXiv (Cornell University)|Jun 24, 2016

FinTech, Crowdfunding, Digital Finance参考文献 3被引用数 9

ひとこと要約

この論文は、DrivenDataのようなオープンプラットフォームにおけるデータサイエンスコンペティションが、教育、公衆衛生、政府分野の重要な問題を解決するためにグローバルな人材を活用することで、社会的インパクトのための能力を顕著に高められることを示している。食の安全プログラムにおいて、クラウドソーシングされた機械学習モデルがボストンの検査生産性を30–50%向上させたことが実証され、オープンイノベーションが非営利団体や政府機関が高品質な予測モデルを低コストで入手する有効な方法であることが示された。

ABSTRACT

We present three case studies of organizations using a data science competition to answer a pressing question. The first is in education where a nonprofit that creates smart school budgets wanted to automatically tag budget line items. The second is in public health, where a low-cost, nonprofit women's health care provider wanted to understand the effect of demographic and behavioral questions on predicting which services a woman would need. The third and final example is in government innovation: using online restaurant reviews from Yelp, competitors built models to forecast which restaurants were most likely to have hygiene violations when visited by health inspectors. Finally, we reflect on the unique benefits of the open, public competition model.

研究の動機と目的

• 社会的分野におけるデータサイエンティストの深刻な不足を解消するため、公開データサイエンスコンペティションを通じたオープンイノベーションを活用すること。
• 学校予算編成、女性の健康予測、食の安全検査など、公共サービスの効率性と効果性を、クラウドソーシングされたアルゴリズムで訓練された機械学習モデルを用いて向上させること。
• 伝統的な人材募集に比べて費用を大幅に抑えることができるが、高水準のパフォーマンスを発揮するデータサイエンスソリューションを生成できることが、オープンコンペティションによって実証されること。
• データサイエンティスト、非営利団体、政府機関の間での協力と知識共有を促進するため、公開で透明性のある問題解決プラットフォームを構築すること。

提案手法

• 組織がDrivenDataプラットフォーム上で公開型のデータサイエンスコンペティションを主催し、教育、公衆衛生、地方自治体サービス分野の実世界のデータセットへのアクセスを提供した。
• 参加者は、テキスト、メタデータ、および歴史的検査データを用いて、予算カテゴリーラベルや将来の衛生違反の予測といった結果を予測する教師あり機械学習モデルの構築を任された。
• コンペティションは二段階の評価方式を採用した：コンペ期間中はホールドアウトデータを用いたパブリックリーダーボードを提供し、その後は将来の検査データを用いたリアルタイム評価期間に移行して予測精度をテストした。
• モデルは、ロジスティック回帰や自然言語処理（NLP）といった標準的手法を用いて、非構造的でドメイン固有のテキスト（例：学校予算の項目、Yelpのレビュー）を訓練に使用した。
• パフォーマンスは、log loss（低いほど良い）といった標準指標で測定され、未確認データに対する予測精度に基づいて最良のモデルが選定された。
• 優勝モデルは、現実世界の現場で評価され、ボストンの検査業務への統合が、フィールド実験を通じて実現された。

実験結果

リサーチクエスチョン

• RQ1 アクセスが限られた専門データサイエンティストを有する社会的分野の課題に対して、オープンで公開のデータサイエンスコンペティションが、高品質な予測モデルを効果的に生成できるか。
• RQ2 クラウドソーシングされたモデルは、従来のランダム検査法と比較して、食の安全検査などの公共サービスの効率をどの程度向上できるか。
• RQ3 自然言語処理技術は、実世界の非営利団体や政府機関のデータセットに見られる、ドメイン固有で、口語的で、省略された表現をどれほど一般化して処理できるか。
• RQ4 グローバルな人材を動員することで、データサイエンスコンペティションが社会的インパクト分野におけるイノベーションと異分野連携を促進できるか。
• RQ5 最良のパフォーマンスを発揮するコンペティションモデルが、運用環境に導入された際の実際のインパクトは何か。

主な発見

• ボストンの食の安全検査コンペティションで優勝したアルゴリズムは、従来のランダム検査法と比較して、検査生産性を30%～50%向上させた。
• 教育分野の事例で最良のモデルを開発した参加者は、100回以上も提出を繰り返しており、熟練したデータサイエンティストによる強い関与と段階的改善の兆候を示した。
• 女性の健康サービスニーズを予測するコンペティションのモデルは、人口統計的および行動的アンケートデータを用いて高い予測精度を達成し、早期干渉戦略の実現を可能にした。
• ハーバード研究チームは、優勝アルゴリズムをボストンの検査プロセスに統合することで、リソース配分の改善と高リスク飲食店の検出能力の向上が著しく期待されると推定した。
• 学校予算の分類に関するコンペティションモデルは、教師あり機械学習を用いて45万件以上の予算項目のタグ付けを自動化し、人的労働の削減に成功した。
• リアルタイム評価フェーズでは、履歴データで訓練されたモデルが将来の予測に一般化できることを確認し、運用への展開に適したコンペティションフレームワークの信頼性が裏付けられた。