[論文レビュー] Optimizing the Human-Machine Partnership with Zooniverse

L. Fortson, Darryl Wright+2 more|arXiv (Cornell University)|Sep 25, 2018

Virtual Reality Applications and Impacts参考文献 10被引用数 6

ひとこと要約

本論文では、Zooniverseの高度な意思決定エンジン「Caesar」を用いて、人間と機械の最適化された協働を提案する。Caesarは、機械の信頼度と人間のスキルに応じて動的にタスクを割り当てる。リアルタイムでの機械学習とスマートなタスクルーティングを統合することで、人間の作業負荷を43％削減しながらも、正確性を維持し、シミュレーションではモデル収束を最大8倍速くする。

ABSTRACT

Over the past decade, Citizen Science has become a proven method of distributed data analysis, enabling research teams from diverse domains to solve problems involving large quantities of data with complexity levels which require human pattern recognition capabilities. With over 120 projects built reaching nearly 1.7 million volunteers, the Zooniverse.org platform has led the way in the application of Citizen Science as a method for closing the Big Data analysis gap. Since the launch in 2007 of the Galaxy Zoo project, the Zooniverse platform has enabled significant contributions across many disciplines; e.g., in ecology, humanities, and astronomy. Citizen science as an approach to Big Data combines the twin advantages of the ability to scale analysis to the size of modern datasets with the ability of humans to make serendipitous discoveries. To cope with the larger datasets looming on the horizon such as astronomy's Large Synoptic Survey Telescope (LSST) or the 100's of TB from ecology projects annually, Zooniverse has been researching a system design that is optimized for efficiency in task assignment and incorporating human and machine classifiers into the classification engine. By making efficient use of smart task assignment and the combination of human and machine classifiers, we can achieve greater accuracy and flexibility than has been possible to date. We note that creating the most efficient system must consider how best to engage and retain volunteers as well as make the most efficient use of their classifications. Our work thus focuses on understanding the factors that optimize efficiency of the combined human-machine system. This paper summarizes some of our research to date on integration of machine learning with Zooniverse, while also describing new infrastructure developed on the Zooniverse platform to carry out this research.

研究の動機と目的

• 科学的調査におけるビッグデータ分析のギャップを解消するため、人間のパターン認識能力と機械学習を統合すること。
• 機械の信頼度と人間のスキル水準に基づく知的なタスク割り当てにより、ボランティアの負担を軽減すること。
• 人間による分類を、最も情報量が多く、不確実性が高く、影響力のある被験体に集中させることで、モデル学習の効率を向上させること。
• リアルタイムで適応可能な人間と機械の協働を可能にする、スケーラブルで拡張性のあるインfra構築を目的とする。

提案手法

• Zooniverse Panoptes API が、プロジェクトのワークフロー、被験体の配信、分類記録を管理するコアプラットフォームとして機能する。
• Caesar意思決定エンジンは、分類から特徴量を抽出する「extractors」、コンSENSUSを形成する「reducers」、被験体およびユーザーの状態を更新する「effects」を用いる。
• 機械学習モデルは、被験体に添付されたメタデータを通じて統合され、リアルタイム意思決定に使用される事前に訓練された信頼度スコアを含む。
• 予測されたパフォーマンスに応じて、被験体が特定のボランティアグループに割り当てられ、高スキルのユーザーは複雑または不確実なケースに集中する。
• アクティブラーニングは、機械の信頼度が低い被験体を人間によるレビューの優先順位にすることで実装され、モデル収束を加速する。
• 教師なしクラスタリングを用いて類似画像をグループ化し、ボランティアが一括してグループを分類するか、異常を特定することで、個々のタスク負荷を軽減する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルを市民科学のワークフローに効果的に統合するには、どのようにすれば人間による分類作業の負荷を軽減できるか？
• RQ2 機械の信頼度と人間のスキルに基づく動的タスク割り当てが、分類の正確性と効率に与える影響は何か？
• RQ3 人間の分類者からのリアルタイムフィードバックを活用したアクティブラーニングは、大規模プロジェクトにおけるモデル収束を顕著に加速できるか？
• RQ4 事前にラベルの情報がない状態で、画像データの教師なしクラスタリングを活用することで、ラベル付けの効率をどのように向上できるか？
• RQ5 特定のボランティアグループに被験体を的確に割り当てることで、人間と機械の協働を最適化する役割は何か？

主な発見

• 機械の信頼度スコアと人間の分類結果を統合することで、実世界のプロジェクトで分類パフォーマンスが向上した。
• 機械の予測と一致する最初の2名のボランティアにタスクを割り当てたことで、Camera CATalogueプロジェクトでは人間の作業負荷を43％削減しながらも正確性を維持した。
• シミュレーションでは、スマートなタスク割り当てを伴うアクティブラーニングにより、Galaxy Zooプロジェクトの分類速度が8倍に向上した。
• システムは、高スキルのボランティアに被験体をリアルタイムでルーティングでき、複雑または曖昧なケースの分類品質が向上した。
• 教師なしクラスタリングにより、ボランティアが一括して画像グループを分類するか、外れ値を特定できるようになり、個々のタスク負荷が軽減され、ラベル付けの効率が向上した。
• Caesar意思決定エンジンは動的ワークフローを効果的に管理し、リアルタイムでの人間と機械のフィードバックに基づくタスク割り当ての適応を可能にした。