[논문 리뷰] Predicting ice flow using machine learning

Yimeng Min, S. Karthik Mukkavilli외 1명|arXiv (Cornell University)|2019. 10. 20.

Cryospheric studies and observations참고 문헌 6인용 수 5

한 줄 요약

이 논문은 다중 스펙트럼 위성 영상에서 빙하 유동 추적 성능을 향상시키기 위해 적대적 영상 예측을 활용한 비지도 기계학습 모델을 제안한다. 이는 지속성 모델 및 고역통과 필터 기반 모델보다 실제값과 더 높은 상관관계를 달성한다. 주요 기여는 남극 빙하 동역학에 대한 10,675장의 이미지가 포함된 공개 데이터셋인 IceNet을 도입한 것으로, 기후 변화 압력 하에서 빙하 이동을 개선된 방식으로 모델링할 수 있게 한다.

ABSTRACT

Though machine learning has achieved notable success in modeling sequential and spatial data for speech recognition and in computer vision, applications to remote sensing and climate science problems are seldom considered. In this paper, we demonstrate techniques from unsupervised learning of future video frame prediction, to increase the accuracy of ice flow tracking in multi-spectral satellite images. As the volume of cryosphere data increases in coming years, this is an interesting and important opportunity for machine learning to address a global challenge for climate change, risk management from floods, and conserving freshwater resources. Future frame prediction of ice melt and tracking the optical flow of ice dynamics presents modeling difficulties, due to uncertainties in global temperature increase, changing precipitation patterns, occlusion from cloud cover, rapid melting and glacier retreat due to black carbon aerosol deposition, from wildfires or human fossil emissions. We show the adversarial learning method helps improve the accuracy of tracking the optical flow of ice dynamics compared to existing methods in climate science. We present a dataset, IceNet, to encourage machine learning research and to help facilitate further applications in the areas of cryospheric science and climate change.

연구 동기 및 목표

• 구름에 의한 가림, 급격한 녹음, 데이터 누락 등으로 인해 다중 스펙트럼 위성 영상에서 빙하 유동을 추적하는 데 도전하는 문제를 해결한다.
• 유동 레이블이 없는 상태에서 미래의 빙하 동역학을 예측하기 위해 비지도 학습 프레임워크를 개발한다.
• 빙하권 및 기후 과학 연구를 위한 랜드세트 8 위성 데이터에서 유래한 대규모, 다중 대역 데이터셋인 IceNet을 도입한다.
• 단일 프레임 예측에 의존하는 것 대신 이전 여러 프레임의 시간적 맥락을 활용하여 옵티컬 플로우 추적 정확도를 향상시킨다.
• 원격 감지와 딥러닝 간 격차를 메우며 기후 과학 분야의 기계학습 응용을 가능하게 한다.

제안 방법

• 변동성 오토인코더(VAE) 프레임워크를 활용한 확률적 영상 생성 모델을 사용하며, 잠재 공간 분포를 모델링하기 위해 사전 네트워크를 통합한다.
• 입력 프레임 간의 시간적 의존성을 인코딩하기 위해 컨volutional LSTM을 활용하여 미래 예측을 위한 잠재 표현을 생성한다.
• 잠재 표현의 사후 분포와 사전 분포 간의 KL 발산, 그리고 예측된 프레임과 실제 프레임 간의 L2 재구성 손실을 조합한 손실 함수를 사용해 모델을 훈련한다.
• 심층 컨volutional GAN 판별자를 통해 적대적 훈련을 실시하여 생성된 부분 영상의 현실성과 질감 일관성을 향상시킨다.
• 비교를 위해 고역통과 필터를 기준 모델로 사용하며, 상관관계 기반 추적을 위한 에지 유사 특징을 추출한다.
• 시험 세트에서 예측된 영상과 실제 영상 간의 정렬을 평가하기 위해 상관관계 기반 매칭(Pearson 상관계수)을 사용한다.

실험 결과

연구 질문

• RQ1 기존 기준 모델 대비 비지도 영상 예측 모델이 다중 스펙트럼 위성 영상에서 빙하 유동 추적 정확도를 향상시킬 수 있는가?
• RQ2 이전 여러 프레임의 시간적 맥락을 모델링할 경우, 가림 또는 노이즈가 많은 데이터 상황에서도 예측의 견고성이 향상되는가?
• RQ3 적대적 훈련이 예측된 빙하 유동 부분 영상의 현실성과 공간 일관성을 얼마나 향상시킬 수 있는가?
• RQ4 복잡한 무늬, 매끄러운 표면 또는 구름에 영향을 받은 신호가 있는 영역에서 제안된 모델의 성능은 어떠한가?
• RQ5 IceNet 데이터셋이 향후 빙하권 과학 및 기후 모델링 분야의 기계학습 연구를 위한 벤치마크로 기능할 수 있는가?

주요 결과

• 기계학습 모델은 실제값 부분 영상와 평균 상관계수 0.362를 기록했으며, 이는 지속성 모델(0.237)과 고역통과 필터(0.201)보다 유의미하게 높은 성능을 보였다.
• 모델은 중간 상관계수 영역(0.3–0.7)의 비율을 지속성 모델의 27.1%에서 기계학습 모델의 55.7%로 증가시켜 다양한 지형 유형에 대한 일반화 능력 향상을 보였다.
• 즉각적인 이전 프레임이 구름에 의해 손상된 상황에서도 작은 무늬와 경사 특징을 성공적으로 재현하여 데이터 열악성에 대한 강건성을 입증했다.
• 고역통과 필터는 입력 신호가 열악한 경우 특히 노이즈가 많은 이진 출력으로 인해 30%의 시험 케이스에서 실패했으며, 높은 정밀도 사례가 있음에도 불구하고 상관관계가 낮았다.
• 모델은 단일 프레임에 의존하는 것 대신 이전 여러 프레임의 범위에서 학습함으로써 상관계수 오차를 감소시켰고, 이는 연속성 향상과 아티팩트 감소에 기여했다.
• IceNet 데이터셋은 2015년 11월부터 2017년 2월까지의 10,675장의 위성 영상으로 구성되어 있으며, 128×128 픽셀 부분 영상로 30m 해상도로 촬영되었으며, 남극의 바이드 빙하가 지배하는 지역을 포함한다.