[论文解读] Combining crowd-sourcing and deep learning to understand meso-scale organization of shallow convection

Stephan Rasp, Hauke Schulz+2 more|arXiv (Cornell University)|Jun 5, 2019

Meteorological Phenomena and Simulations被引用 7

一句话总结

本研究结合众包与深度学习，对卫星图像中浅积云对流的中尺度组织模式进行分类，定义了四种主观模式——糖粒（Sugar）、花朵（Flower）、鱼骨（Fish）和碎石（Gravel）。基于10,000张图像中50,000个人工标注的云簇数据，训练深度学习模型以实现自动化检测，从而支持全球气候学分析，并揭示了与既有的开环与闭环比较对流模式不同的地理与环境关联特征。

ABSTRACT

Humans excel at detecting interesting patterns in images, for example those taken from satellites. This kind of anecdotal evidence can lead to the discovery of new phenomena. However, it is often difficult to gather enough data of subjective features for significant analysis. This paper presents an example of how two tools that have recently become accessible to a wide range of researchers, crowd-sourcing and deep learning, can be combined to explore satellite imagery at scale. In particular, the focus is on the organization of shallow cumulus convection in the trade wind regions. Shallow clouds play a large role in the Earth’s radiation balance yet are poorly represented in climate models. For this project four subjective patterns of organization were defined: Sugar, Flower, Fish and Gravel. On cloud labeling days at two institutes, 67 scientists screened 10,000 satellite images on a crowd-sourcing platform and classified almost 50,000 mesoscale cloud clusters. This dataset is then used as a training dataset for deep learning algorithms that make it possible to automate the pattern detection and create global climatologies of the four patterns. Analysis of the geographical distribution and large-scale environmental conditions indicates that the four patterns have some overlap with established modes of organization, such as open and closed cellular convection, but also differ in important ways. The results and dataset from this project suggests promising research questions. Further, this study illustrates that crowd-sourcing and deep learning complement each other well for the exploration of image datasets. (Capsule Summary) Crowd-sourcing and deep learning are combined to explore the meso-scale organization of shallow clouds in the subtropics. © 2020 American Meteorological Society.

研究动机与目标

• 为解决气候研究中主观、基于视觉定义的云组织模式数据有限的问题。
• 探索贸易风区域浅积云对流的中尺度组织特征，其对地球辐射平衡具有重要影响。
• 开发一种可扩展的方法，利用人工标注数据与深度学习技术，检测并分类复杂且主观的云模式。
• 生成云组织模式的全球气候学图谱，以增进对浅积云的理解与建模。

提出的方法

• 基于卫星图像中观察到的视觉特征，定义了四种主观云组织模式——糖粒（Sugar）、花朵（Flower）、鱼骨（Fish）和碎石（Gravel）。
• 67名科学家参与众包标注日，对10,000张卫星图像中的约50,000个中尺度云簇进行了分类。
• 利用人工标注数据集训练深度学习模型，以实现在大规模卫星图像集合中自动化检测模式。
• 经训练的深度学习模型使全球范围内四种云模式的气候学图谱得以建立，支持大规模分析。
• 分析了地理分布与大尺度环境条件，以建立模式与气象背景之间的关联。
• 该方法展示了人类感知与机器学习在基于图像的气候科学中模式发现方面的协同效应。

实验结果

研究问题

• RQ1 在副热带贸易风区域，四种主观云组织模式——糖粒（Sugar）、花朵（Flower）、鱼骨（Fish）和碎石（Gravel）——在地理上如何分布？
• RQ2 这些模式在多大程度上与既有的云组织模式（如开环与闭环比较对流）一致或相异？
• RQ3 哪些大尺度环境条件与四种云模式中每一种的发生相关？
• RQ4 基于众包标注数据训练的深度学习模型，能否在大规模上准确泛化，实现对这些复杂且主观模式的自动化检测？
• RQ5 从此前研究较少的这些云模式的全球气候学图谱中，会引出哪些新的研究问题？

主要发现

• 四种云组织模式——糖粒（Sugar）、花朵（Flower）、鱼骨（Fish）和碎石（Gravel）——表现出明显的地理分布差异，其在副热带海洋区域呈现非均匀的空间聚类特征。
• 这些模式与开环与闭环比较对流等既有的组织模式存在部分重叠，但也揭示了此前未被捕捉到的独特组织结构。
• 基于众包标注数据训练的深度学习模型成功实现了模式检测的自动化，使从大规模卫星数据中构建全球气候学图谱成为可能。
• 环境条件如风切变、湿度和边界层深度与特定模式的出现频率相关，表明其受气象动力机制的驱动。
• 50,000个人工标注的云簇数据集为未来浅积云研究与模型评估提供了宝贵资源。
• 众包与深度学习相结合的方法在发现与分析气候影像中复杂且基于视觉定义的现象方面被证明是有效的。