[論文レビュー] Self-supervised Contrastive Learning for Irrigation Detection in Satellite Imagery

Chitra Agastya, Sirak Ghebremusse+4 more|Deep Blue (University of Michigan)|Aug 11, 2021

Flood Risk Assessment and Management被引用数 7

ひとこと要約

本論文は、未加工でラベルなしのデータを用いた、マルチスペクトル衛星画像における灌漑検出のための自己教師付き対照的学習フレームワーク、SimCLR-S2を提案する。カリフォルニア州のSentinel-2データを事前学習し、BigEarthNet-S2の少量のラベル付きデータで微調整することで、教師ありベースラインと比較して最大9倍の精度向上、90％の再現率向上、40％の高い汎化性能を達成した。

ABSTRACT

Climate change has caused reductions in river runoffs and aquifer recharge resulting in an increasingly unsustainable crop water demand from reduced freshwater availability. Achieving food security while deploying water in a sustainable manner will continue to be a major challenge necessitating careful monitoring and tracking of agricultural water usage. Historically, monitoring water usage has been a slow and expensive manual process with many imperfections and abuses. Ma-chine learning and remote sensing developments have increased the ability to automatically monitor irrigation patterns, but existing techniques often require curated and labelled irrigation data, which are expensive and time consuming to obtain and may not exist for impactful areas such as developing countries. In this paper, we explore an end-to-end real world application of irrigation detection with uncurated and unlabeled satellite imagery. We apply state-of-the-art self-supervised deep learning techniques to optical remote sensing data, and find that we are able to detect irrigation with up to nine times better precision, 90% better recall and 40% more generalization ability than the traditional supervised learning methods.

研究の動機と目的

• 発展途上国における灌漑データのラベル付きデータが限られている課題に対処する。手動でのアノテーションは高コストであり、データが希薄である。
• ラベル付きデータが存在しない地域においても、ラベルなしの衛星画像を用いた自己教師付き事前学習を活用することで、正確な灌漑検出を可能にする。
• 1つの地理的地域（カリフォルニア）で事前学習したモデルが、微調整を最小限に抑えても、多様な世界の地域（例：ブラジル、インド、ベトナム）に効果的に一般化できるかを評価する。
• ラベル付きデータが限られる状況において、対照的自己教師付き学習が従来の教師あり学習を上回ることを示す。
• 高分解能のマルチスペクトル衛星データを用いて、グローバルな灌漑監視のためのスケーラブルでリソースを低減したソリューションを開発する。

提案手法

• 10のスペクトルバンド（赤外線を含む）を用い、カリフォルニア州の中央バレー地域のラベルなしSentinel-2表面反射率画像を用いて、SimCLRフレームワークで深層ニューラルネットワークを事前学習する。
• データ拡張（例：クロップ、カラージェッタ、フリップ）を適用して対照的学習のためのポジティブペアを生成し、SimCLRの対照的損失を最適化することで、変換されたビュー間の一致を最大化する。
• BigEarthNet-S2から入手可能な公開ラベル付きデータのわずかな割合を用いて、事前学習済みモデルを微調整する。BigEarthNet-S2には、10か国にまたがる13,589件の灌漑農地サンプルが含まれる。
• 微調整済みモデルを用いて、ブラジル、インド、インドネシア、チュニジア、ベトナムなど、新たな地理的領域のラベルなし衛星画像における灌漑状態を予測する。
• croplands.orgのクラウドソーシングによる現地データを用いて、精度と再現率を評価し、アマゾンMechanical Turkによる視覚的検証も実施する。
• 異なる量のラベル付きデータ（BigEarthNet-S2の1％から100％まで）を用いて、教師ありベースライン（スクラッチから訓練したモデルやImageNetの重みを初期値にしたモデル）と比較する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの衛星画像を用いた自己教師付き対照的学習は、ラベル付きデータが限られる状況において、教師あり学習よりも優れた灌漑検出性能を達成できるか？
• RQ2 1つの地理的地域（カリフォルニア）の衛星データで事前学習したモデルは、世界中の多様な農業地域（例：インド、ブラジル、ベトナム）に、最小限の微調整で効果的に一般化できるか？
• RQ3 全ラベル付きデータの0.033％（190件）の微調整データのみで、自己教師付きモデルの精度と再現率は、教師ありベースラインと比べてどの程度か？
• RQ4 Sentinel-2の10バンドすべてを用いることで、標準的なRGBベースのモデルに比べて、灌漑検出性能がどの程度向上するか？
• RQ5 SimCLR-S2フレームワークは、最小限の人為的アノテーションで、実世界の未加工な衛星データに効果的に適用可能か？

主な発見

• 190件のラベル付きサンプル（BigEarthNet-S2の1％）を用いて、未観測のカリフォルニアデータでSimCLR-S2モデルは100％の精度を達成したのに対し、教師ありベースラインはわずか11％であった。
• 19,024件のラベル付きサンプル（BigEarthNet-S2の100％）を用いた場合、SimCLR-S2は100％の精度を維持したが、教師ありベースラインは47％の精度にとどまった。
• 6か国にまたがる多様な国々のグローバルテストデータにおいて、SimCLR-S2は中央値として再現率0.82を達成し、6か国のうち4か国で教師ありベースラインを上回った。インドでは90％、ベトナムでも90％の再現率を記録した。
• 6か国のテスト地理的地域全体で平均して、SimCLR-S2は教師ありベースラインより90％の高い再現率を示した。インドネシアでは76％、チュニジアでは78％の再現率を達成した。
• SimCLR-S2モデルは、教師ありモデルよりも顕著に優れた一般化性能を示し、教師ありベースラインが再現率0％を記録したミャンマーとインドネシアでも灌漑を検出できた。
• 全ラベル付きデータの0.033％（190件）でのみ微調整した状況でも、SimCLR-S2は99％の精度と75％の再現率を達成し、最小限の監視で優れた性能を示した。