[論文レビュー] Predicting ice flow using machine learning

Yimeng Min, S. Karthik Mukkavilli+1 more|arXiv (Cornell University)|Oct 20, 2019

Cryospheric studies and observations参考文献 6被引用数 5

ひとこと要約

本論文は、敵対的動画予測を用いた教師なし機械学習モデルを提案し、マルチスペクトル衛星画像における氷の流れトラッキングを改善した。このモデルは、パーシステンス法やハイパスフィルターベースラインと比較して、真値との相関が高くなった。主な貢献は、南極の氷の動態を10,675枚の画像（12フレーム分）を含む公開データセットであるIceNetの導入であり、気候変動の圧力下でのガラスの動きのモデリングを改善できる。

ABSTRACT

Though machine learning has achieved notable success in modeling sequential and spatial data for speech recognition and in computer vision, applications to remote sensing and climate science problems are seldom considered. In this paper, we demonstrate techniques from unsupervised learning of future video frame prediction, to increase the accuracy of ice flow tracking in multi-spectral satellite images. As the volume of cryosphere data increases in coming years, this is an interesting and important opportunity for machine learning to address a global challenge for climate change, risk management from floods, and conserving freshwater resources. Future frame prediction of ice melt and tracking the optical flow of ice dynamics presents modeling difficulties, due to uncertainties in global temperature increase, changing precipitation patterns, occlusion from cloud cover, rapid melting and glacier retreat due to black carbon aerosol deposition, from wildfires or human fossil emissions. We show the adversarial learning method helps improve the accuracy of tracking the optical flow of ice dynamics compared to existing methods in climate science. We present a dataset, IceNet, to encourage machine learning research and to help facilitate further applications in the areas of cryospheric science and climate change.

研究の動機と目的

• 曇り、急速な融解、データ欠損が生じる中でのマルチスペクトル衛星画像における氷の流れトラッキングの課題に対処すること。
• ラベル付き流れアノテーションを必要としない教師なし学習フレームワークを構築し、将来の氷の動態を予測すること。
• 氷雪圏および気候科学研究のための、Landsat 8 からの大規模かつマルチバンドの衛星データセットであるIceNetを提供すること。
• 1フレームのみに依存する予測ではなく、複数の過去フレームからの時間的文脈を活用することで、光学フロー追跡の正確性を向上させること。
• リモートセンシングとディープラーニングの間のギャップを埋め、気候科学における機械学習応用を可能にすること。

提案手法

• 変分オートエンコーダー（VAE）フレームワークを用いた確率的動画生成モデルを採用し、潜在空間の分布をモデル化するための事前ネットワークを組み込む。
• 時間的依存性を符号化するため、畳み込みLSTMを用い、入力フレームの時間的系列から将来の予測用の潜在表現を生成する。
• 潜在後ろ向き分布と事前分布のKLダイバージェンス、および予測フレームと真値フレームのL2再構成損失を組み合わせた損失関数を用いてモデルを学習する。
• 深層畳み込み生成対抗ネットワーク（GAN）ディスクライマーを用いた敵対的訓練により、生成されたサブシーンの現実性とテクスチャの一貫性を向上させる。
• 比較のためのベースラインとしてハイパスフィルタを採用し、相関ベースのトラッキングに用いるエッジに類似した特徴を抽出する。
• テストセットにおける予測されたサブシーンと実際のサブシーンの一致度を評価するために、相関ベースのマッチング（ピアソン相関係数）を用いる。

実験結果

リサーチクエスチョン

• RQ1 従来のベースラインと比較して、教師なし動画予測モデルはマルチスペクトル衛星画像における氷の流れトラッキングの正確性を向上させることができるか？
• RQ2 複数の過去フレームからの時間的文脈をモデル化することで、遮蔽やノイズの多いデータが存在する状況下でも予測のロバスト性が向上するか？
• RQ3 敵対的訓練により、予測された氷の流れサブシーンの現実性と空間的一致性はどの程度向上するか？
• RQ4 複雑なテクスチャ、滑らかな表面、または曇りによる影響を受ける信号を示す領域において、提案モデルの性能はいかがなっているか？
• RQ5 IceNetデータセットは、今後の氷雪圏科学および気候モデリング分野における機械学習研究のベンチマークとして機能できるか？

主な発見

• 機械学習モデルは、真値サブシーンとの平均相関係数が0.362を達成し、パーシステンスモデル（0.237）やハイパスフィルタ（0.201）を著しく上回った。
• 中程度相関領域（0.3–0.7）の割合は、パーシステンス法の27.1％から機械学習モデルの55.7％に増加し、多様な地形タイプにわたる一般化性能の向上を示した。
• 直近の過去フレームが曇りで損傷を受けても、小さなテクスチャーや勾配特徴を正確に再現できた。これは、データ劣化に対するモデルのロバスト性を示している。
• ハイパスフィルタは、入力信号が劣化している場合に特に顕著なノイズを伴う2値出力となることがあり、30％のテストケースで失敗し、相関が低くなった。
• モデルは、1つのフレームに依存するのではなく、複数の過去フレームから学習することで、相関誤差を低減し、連続性を向上させ、アーチファクトを減少させた。
• IceNetデータセットには、2015年11月から2017年2月までの間の10,675枚の衛星画像が含まれており、128×128ピクセルのサブシーンで、30m解像度、南極のバイアード氷河が支配的な地域をカバーしている。