[論文レビュー] Floating Forests: Quantitative Validation of Citizen Science Data Generated From Consensus Classifications

Isaac S. Rosenthal, Jarrett E. K. Byrnes+11 more|arXiv (Cornell University)|Jan 25, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 9被引用数 13

ひとこと要約

本研究は、Floating Forestsプロジェクトの市民科学データを検証し、非専門家による一貫性のある分類——1枚の画像あたり4.2人のユーザーを基準として——が、専門家による分類と同等の高い正確性（Landsat 5/7ではMCC = 0.400、Landsat 8ではMCC = 0.639）を達成することを示している。この手法は、ユーザーのトレースを集約して信頼性の高いコンドーム森林地図を生成し、スケーラブルで低コストなデータ収集により、大規模な生態モニタリングを支援する。

ABSTRACT

Large-scale research endeavors can be hindered by logistical constraints limiting the amount of available data. For example, global ecological questions require a global dataset, and traditional sampling protocols are often too inefficient for a small research team to collect an adequate amount of data. Citizen science offers an alternative by crowdsourcing data collection. Despite growing popularity, the community has been slow to embrace it largely due to concerns about quality of data collected by citizen scientists. Using the citizen science project Floating Forests (http://floatingforests.org), we show that consensus classifications made by citizen scientists produce data that is of comparable quality to expert generated classifications. Floating Forests is a web-based project in which citizen scientists view satellite photographs of coastlines and trace the borders of kelp patches. Since launch in 2014, over 7,000 citizen scientists have classified over 750,000 images of kelp forests largely in California and Tasmania. Images are classified by 15 users. We generated consensus classifications by overlaying all citizen classifications and assessed accuracy by comparing to expert classifications. Matthews correlation coefficient (MCC) was calculated for each threshold (1-15), and the threshold with the highest MCC was considered optimal. We showed that optimal user threshold was 4.2 with an MCC of 0.400 (0.023 SE) for Landsats 5 and 7, and a MCC of 0.639 (0.246 SE) for Landsat 8. These results suggest that citizen science data derived from consensus classifications are of comparable accuracy to expert classifications. Citizen science projects should implement methods such as consensus classification in conjunction with a quantitative comparison to expert generated classifications to avoid concerns about data quality.

研究の動機と目的

• Floating Forestsプロジェクトにおける一貫性のある分類を通じて生成された市民科学データの正確性を評価すること。
• 分類の正確性を最大化するための、1枚の画像あたりの最適なユーザー分類数を特定すること。
• 一貫性に基づくデータを専門家が生成した分類と比較し、データ品質を検証すること。
• 市民科学を大規模な生態モニタリングに活用するための実証的根拠を提供すること。

提案手法

• 市民科学者が2014年以降、コンドーム森林の衛星画像75万枚をトレースして分類した。
• 各画像は15名の独立したユーザーによって分類され、すべてのトレースを空間的に重ね合わせることで一貫性のある分類を生成した。
• 各ユーザーの閾値（1〜15）に対して、マシュー相関係数（MCC）を計算し、分類の正確性を評価した。
• 正確性とデータ効率の両立を考慮し、最高のMCCを示した閾値を最適な閾値として特定した。
• 一貫性出力の定量的検証のために、専門家の分類を基準として用いた。
• 統計解析により、Landsat 5/7とLandsat 8の画像間でのMCC値を比較し、センサーごとの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 一貫性に基づく市民科学データの正確性を最大化するための、1枚の画像あたりの最適なユーザー分類数は何か？
• RQ2 コンドーム森林マッピングにおいて、一貫性のある分類の正確性は専門家が生成した分類と比べてどの程度か？
• RQ3 異なる衛星センサー（Landsat 5/7 対 Landsat 8）における一貫性データの正確性に差はあるか？
• RQ4 非専門家によるボランティアの一致分類は、大規模な生態モニタリングに信頼できるデータを提供できるか？
• RQ5 リモートセンシングの応用において、一貫性分類の信頼性を最も適切に定量化する統計的指標は何か？

主な発見

• 一貫性分類の最適なユーザー閾値は4.2であり、Landsat 5および7の画像ではマシュー相関係数（MCC）が0.400（標準誤差±0.023）を示した。
• Landsat 8の画像では、最適な閾値がMCC 0.639（標準誤差±0.246）を達成し、有意に高い正確性を示した。
• 一貫性分類は専門家が生成した分類と同等の正確性に達しており、生態学的調査における利用が妥当であることを裏付けた。
• 本手法は、異なる衛星センサー間で堅牢な性能を示し、Landsat 8の正確性がLandsat 5/7よりも高いことが明らかになった。
• 本研究は、一貫性分類が大規模なリモートセンシングデータ処理において信頼性があり、スケーラブルな手法であることを確認した。
• MCCを用いた定量的検証により、市民科学プロジェクトにおけるデータ品質の評価に再現可能なフレームワークを提供した。