[논문 리뷰] Floating Forests: Quantitative Validation of Citizen Science Data Generated From Consensus Classifications

Isaac S. Rosenthal, Jarrett E. K. Byrnes외 11명|arXiv (Cornell University)|2018. 01. 25.

Mobile Crowdsensing and Crowdsourcing참고 문헌 9인용 수 13

한 줄 요약

이 연구는 Floating Forests 프로젝트에서 수집한 시민 과학 데이터의 정확성을 검증하며, 비전문가들이 사용하는 공통된 분류 방식(이미지당 4.2명의 사용자 기준)이 고정밀도를 달성함을 입증한다(지구관측위성 5/7용 MCC = 0.400, 지구관측위성 8용 MCC = 0.639), 전문가 분류와 유사한 정확도를 보이며, 확장 가능하고 저비용의 데이터 수집 방식을 통해 대규모 생태 모니터링을 지원한다.

ABSTRACT

Large-scale research endeavors can be hindered by logistical constraints limiting the amount of available data. For example, global ecological questions require a global dataset, and traditional sampling protocols are often too inefficient for a small research team to collect an adequate amount of data. Citizen science offers an alternative by crowdsourcing data collection. Despite growing popularity, the community has been slow to embrace it largely due to concerns about quality of data collected by citizen scientists. Using the citizen science project Floating Forests (http://floatingforests.org), we show that consensus classifications made by citizen scientists produce data that is of comparable quality to expert generated classifications. Floating Forests is a web-based project in which citizen scientists view satellite photographs of coastlines and trace the borders of kelp patches. Since launch in 2014, over 7,000 citizen scientists have classified over 750,000 images of kelp forests largely in California and Tasmania. Images are classified by 15 users. We generated consensus classifications by overlaying all citizen classifications and assessed accuracy by comparing to expert classifications. Matthews correlation coefficient (MCC) was calculated for each threshold (1-15), and the threshold with the highest MCC was considered optimal. We showed that optimal user threshold was 4.2 with an MCC of 0.400 (0.023 SE) for Landsats 5 and 7, and a MCC of 0.639 (0.246 SE) for Landsat 8. These results suggest that citizen science data derived from consensus classifications are of comparable accuracy to expert classifications. Citizen science projects should implement methods such as consensus classification in conjunction with a quantitative comparison to expert generated classifications to avoid concerns about data quality.

연구 동기 및 목표

• Floating Forests 프로젝트에서 공통 분류 방식을 통해 생성된 시민 과학 데이터의 정확도를 평가하는 것.
• 분류 정확도를 극대화하는 데 최적의 이미지당 사용자 수를 결정하는 것.
• 공통 분류 결과를 전문가가 생성한 분류와 비교하여 데이터 품질을 검증하는 것.
• 대규모 생태 모니터링에서 시민 과학을 활용하는 데 실증적 근거를 제공하는 것.

제안 방법

• 시민 과학자들이 2014년 이후 75만 장의 해조류 숲 위성 영상을 분석하여 해조류 덩어리의 경계를 그렸다.
• 각 영상은 15명의 독립된 사용자가 분류하여, 모든 경로를 공간적으로 겹쳐 공통 분류 결과를 생성했다.
• 모든 사용자 임계치(1~15)에 대해 Matthews 상관계수(MCC)를 계산하여 분류 정확도를 평가했다.
• 정확도와 데이터 효율성을 균형 잡는 데 가장 높은 MCC를 제공하는 임계치를 최적의 것으로 결정했다.
• 공통 분류 결과의 정량적 검증을 위해 전문가 분류 결과를 기준으로 삼았다.
• 통계 분석을 통해 Landsat 5/7과 Landsat 8 영상 간의 MCC 값을 비교하여 센서별 성능을 평가했다.

실험 결과

연구 질문

• RQ1 공통 분류 기반의 시민 과학 데이터에서 정확도를 극대화하는 데 최적의 이미지당 사용자 수는 얼마인가?
• RQ2 해조류 숲 지도 제작에서 공통 분류 결과의 정확도는 전문가가 생성한 분류 결과와 어떻게 비교되는가?
• RQ3 공통 분류 결과의 정확도는 서로 다른 위성 센서(Landsat 5/7 대비 Landsat 8) 간에 달라지는가?
• RQ4 비전문가 자원봉사자들이 제공하는 공통 분류 결과는 대규모 생태 모니터링에 신뢰할 수 있는 데이터를 제공할 수 있는가?
• RQ5 원격 감시 적용 분야에서 공통 분류 결과의 신뢰성을 가장 잘 수량화하는 통계 지표는 무엇인가?

주요 결과

• 공통 분류의 최적 사용자 수는 4.2로, 이때 Landsat 5 및 7 영상의 Matthews 상관계수(MCC)는 0.400(표준오차 ±0.023)을 기록했다.
• Landsat 8 영상의 경우 최적의 임계치로 인해 MCC가 0.639(표준오차 ±0.246)에 도달하여 상당히 높은 정확도를 보였다.
• 공통 분류 결과는 전문가가 생성한 분류 결과와 유사한 정확도를 달성하여 생태 연구에서의 활용 가능성을 입증했다.
• 이 방법은 다양한 위성 센서에서 뛰어난 성능을 보였으며, Landsat 8이 Landsat 5/7보다 더 높은 정확도를 보였다.
• 이 연구는 공통 분류가 대량의 원격 감시 데이터를 처리하는 데 있어 신뢰할 수 있고 확장 가능한 방법임을 확인했다.
• MCC를 활용한 정량적 검증은 시민 과학 프로젝트에서 데이터 품질 평가를 반복 가능하게 하는 프레임워크를 제공한다.