[논문 리뷰] Combining crowd-sourcing and deep learning to understand meso-scale organization of shallow convection

Stephan Rasp, Hauke Schulz외 2명|arXiv (Cornell University)|2019. 06. 05.

Meteorological Phenomena and Simulations인용 수 7

한 줄 요약

이 연구는 원격 감시 영상에서 얕은 쌍용운의 중규모 조직 패턴을 분류하기 위해 군중 활용과 딥 러닝을 융합한다. 네 가지 주관적인 패턴—설탕, 꽃, 물고기, 자갈—을 정의하였으며, 10,000장의 영상에서 유저가 라벨링한 50,000개의 구름 클러스터를 활용해 딥 러닝 모델을 훈련시켜 대규모 자동 감지 기능을 구현하였다. 이를 통해 전 세계 기후 기록을 작성하고 기존의 개방형 및 폐쇄형 세포형 운행과는 다를 수 있는 지리적 및 환경적 연관성을 규명하였다.

ABSTRACT

Humans excel at detecting interesting patterns in images, for example those taken from satellites. This kind of anecdotal evidence can lead to the discovery of new phenomena. However, it is often difficult to gather enough data of subjective features for significant analysis. This paper presents an example of how two tools that have recently become accessible to a wide range of researchers, crowd-sourcing and deep learning, can be combined to explore satellite imagery at scale. In particular, the focus is on the organization of shallow cumulus convection in the trade wind regions. Shallow clouds play a large role in the Earth’s radiation balance yet are poorly represented in climate models. For this project four subjective patterns of organization were defined: Sugar, Flower, Fish and Gravel. On cloud labeling days at two institutes, 67 scientists screened 10,000 satellite images on a crowd-sourcing platform and classified almost 50,000 mesoscale cloud clusters. This dataset is then used as a training dataset for deep learning algorithms that make it possible to automate the pattern detection and create global climatologies of the four patterns. Analysis of the geographical distribution and large-scale environmental conditions indicates that the four patterns have some overlap with established modes of organization, such as open and closed cellular convection, but also differ in important ways. The results and dataset from this project suggests promising research questions. Further, this study illustrates that crowd-sourcing and deep learning complement each other well for the exploration of image datasets. (Capsule Summary) Crowd-sourcing and deep learning are combined to explore the meso-scale organization of shallow clouds in the subtropics. © 2020 American Meteorological Society.

연구 동기 및 목표

• 기후 연구에서 주관적이고 시각적으로 정의된 구름 조직 패턴에 대한 제한된 데이터 문제를 해결하기 위해.
• 해류풍 지역에서의 얕은 대류의 중규모 조직을 탐구하여 지구의 복사 균형에 중대한 영향을 미치는 것을 목적으로 한다.
• 인간 라벨링 데이터와 딥 러닝을 활용해 복잡하고 주관적인 구름 패턴을 감지 및 분류하는 확장 가능한 방법을 개발하기 위해.
• 얕은 대류의 이해 및 모델링 향상을 위해 구름 조직 패턴의 전 세계 기후 기록을 생성하기 위해.

제안 방법

• 위성 영상에서 관찰된 시각적 특성에 기반해 네 가지 주관적 구름 조직 패턴—설탕, 꽃, 물고기, 자갈—을 정의하였다.
• 67명의 과학자가 군중 활용 라벨링 일에 참여하여 약 50,000개의 중규모 구름 클러스터를 10,000장의 위성 영상에서 분류하였다.
• 인간 라벨링 데이터셋을 활용해 대규모 위성 영상 컬렉션 전반에서 패턴 감지를 자동화하는 딥 러닝 모델을 훈련시켰다.
• 훈련된 딥 러닝 모델을 통해 네 가지 구름 패턴의 전 세계 기후 기록을 작성할 수 있었으며, 이는 대규모 분석을 가능하게 하였다.
• 지리적 분포와 대규모 환경 조건을 분석하여 패턴을 기상학적 맥락과 연계하였다.
• 이러한 접근은 이미지 기반 기후 과학에서 패턴 탐지에 인간 인식과 기계 학습 간의 상호보완적 상호작용을 보여준다.

실험 결과

연구 질문

• RQ1 설탕, 꽃, 물고기, 자갈 네 가지 주관적 구름 조직 패턴은 아열대 해류풍 지역에서 어떻게 지리적으로 분포되어 있는가?
• RQ2 이러한 패턴은 기존의 개방형 및 폐쇄형 세포형 운행과 얼마나 일치하거나 다를까?
• RQ3 각 네 가지 구름 패턴 발생과 관련된 대규모 환경 조건은 무엇인가?
• RQ4 군중 활용 라벨링 데이터로 훈련된 딥 러닝 모델이 이러한 복잡하고 주관적인 패턴을 대규모로 정확하게 일반화하여 감지할 수 있는가?
• RQ5 이전에 탐색이 부족했던 이러한 구름 패턴의 전 세계 기후 기록에서 새로운 연구 질문은 무엇이 도출되는가?

주요 결과

• 설탕, 꽃, 물고기, 자갈 네 가지 구름 조직 패턴은 아열대 해양 지역 전반에서 비균일한 공간 집합을 보이며 고유한 지리적 분포를 보인다.
• 이러한 패턴은 개방형 및 폐쇄형 세포형 운행과 부분적으로 겹치지만, 이전에 포착되지 않은 고유한 조직 구조도 확인되었다.
• 군중 활용 라벨링 데이터로 훈련된 딥 러닝 모델은 패턴 감지 기능을 성공적으로 자동화하여 대규모 위성 데이터에서 전 세계 기후 기록을 작성할 수 있었다.
• 바람의 불안정도, 수증기 농도, 경계층 두께와 같은 환경 조건이 특정 패턴의 빈도와 상관관계를 보이며 기상학적 원인을 시사하였다.
• 50,000개의 인간 라벨링 구름 클러스터로 구성된 데이터셋은 향후 얕은 대류 연구 및 모델 평가에 매우 유용한 자원이 된다.
• 군중 활용과 딥 러닝의 조합은 기후 영상에서 시각적으로 정의된 복잡한 현상을 탐지하고 분석하는 데 효과적임을 입증하였다.