[論文レビュー] Combining crowd-sourcing and deep learning to understand meso-scale organization of shallow convection

Stephan Rasp, Hauke Schulz+2 more|arXiv (Cornell University)|Jun 5, 2019

Meteorological Phenomena and Simulations被引用数 7

ひとこと要約

本研究では、クラウドソーシングとディープラーニングを組み合わせて、衛星画像における浅い積乱雲の中規模組織化パターンを分類する。4つの主観的パターン（スガーやフラワー、フィッシュ、グラベル）を定義し、1万枚の画像から抽出された5万件のヒトによるラベル付き雲クラスタを用いてディープラーニングモデルを訓練することで、自動検出を可能とし、グローバルな気候学的解析を可能にした。これにより、オープン・クローズドセルラー対流に代表される既存のモードを超えた、地理的・環境的要因との明確な関連性が明らかになった。

ABSTRACT

Humans excel at detecting interesting patterns in images, for example those taken from satellites. This kind of anecdotal evidence can lead to the discovery of new phenomena. However, it is often difficult to gather enough data of subjective features for significant analysis. This paper presents an example of how two tools that have recently become accessible to a wide range of researchers, crowd-sourcing and deep learning, can be combined to explore satellite imagery at scale. In particular, the focus is on the organization of shallow cumulus convection in the trade wind regions. Shallow clouds play a large role in the Earth’s radiation balance yet are poorly represented in climate models. For this project four subjective patterns of organization were defined: Sugar, Flower, Fish and Gravel. On cloud labeling days at two institutes, 67 scientists screened 10,000 satellite images on a crowd-sourcing platform and classified almost 50,000 mesoscale cloud clusters. This dataset is then used as a training dataset for deep learning algorithms that make it possible to automate the pattern detection and create global climatologies of the four patterns. Analysis of the geographical distribution and large-scale environmental conditions indicates that the four patterns have some overlap with established modes of organization, such as open and closed cellular convection, but also differ in important ways. The results and dataset from this project suggests promising research questions. Further, this study illustrates that crowd-sourcing and deep learning complement each other well for the exploration of image datasets. (Capsule Summary) Crowd-sourcing and deep learning are combined to explore the meso-scale organization of shallow clouds in the subtropics. © 2020 American Meteorological Society.

研究の動機と目的

• 気候研究における主観的で視覚的に定義された雲組織化パターンのデータ不足という課題に取り組むこと。
• 貿易絶対帯における中規模の対流組織化を明らかにし、地球の放射バランスに与える影響を理解すること。
• ヒトによるラベルデータとディープラーニングを用いて、複雑で主観的な雲パターンの検出・分類をスケーラブルに実現する手法を開発すること。
• 浅い対流の理解とモデリングを向上させるために、雲組織化パターンのグローバル気候学的解析を生成すること。

提案手法

• スガーやフラワー、フィッシュ、グラベルの4つの主観的雲組織化パターンを、衛星画像で観察された視覚的特徴に基づいて定義した。
• 67名の科学者がクラウドソーシングラベル作業に参加し、1万枚の衛星画像から約5万件の中規模雲クラスタを分類した。
• ヒトによるラベル付きデータセットを活用して、大規模な衛星画像データセットにおけるパターン検出を自動化するディープラーニングモデルを訓練した。
• 訓練されたディープラーニングモデルにより、4つの雲パターンのグローバル気候学的マップ作成が可能となり、大規模な解析が可能になった。
• パターンの地理的分布と大規模環境条件を分析し、気象的文脈との関連を明らかにした。
• 画像ベースの気候科学におけるパターン発見において、ヒトの知覚と機械学習の相乗効果を示した。

実験結果

リサーチクエスチョン

• RQ1 スガーやフラワー、フィッシュ、グラベルの4つの主観的雲組織化パターンは、亜熱帯貿易風帯の地理的にどのように分布しているか？
• RQ2 これらのパターンは、オープン・クローズドセルラー対流といった既存の組織化モードとどの程度一致または相違するか？
• RQ3 各4つの雲パターンの出現に関連する大規模環境条件は何か？
• RQ4 クラウドソーシングによるラベルで訓練されたディープラーニングモデルは、大規模にこれらの複雑で主観的なパターンを正確に一般化して検出できるか？
• RQ5 これまで未解明であったこれらの雲パターンのグローバル気候学的マップから、どのような新たな研究課題が生じるか？

主な発見

• スガーやフラワー、フィッシュ、グラベルの4つの雲組織化パターンは、亜熱帯海洋地域において明確に異なる地理的分布を示し、非一様な空間的クラスタリングを示した。
• オープン・クローズドセルラー対流といった既存のモードと部分的に重複するが、これまでに捉えられていなかった独自の組織化構造も明らかになった。
• クラウドソーシングによるラベルで訓練されたディープラーニングモデルは、パターン検出を自動化に成功させ、大規模な衛星データからグローバル気候学的マップの作成を可能にした。
• 風切れ、湿度、境界層の厚さといった環境要因が、特定のパターンの出現頻度と相関していることが判明し、気象的要因が背後に関与していることが示された。
• 5万件のヒトによるラベル付き雲クラスタからなるデータセットは、今後の浅い対流研究やモデル評価の貴重なリソースである。
• クラウドソーシングとディープラーニングの統合的アプローチは、気候画像における複雑で視覚的に定義された現象の発見・分析に有効であることが実証された。