[論文レビュー] A Review of Landcover Classification with Very-High Resolution Remotely Sensed Optical Images-Analysis Unit,Model Scalability and Transferability

Rongjun Qin, Tao Liu|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、非常に高分解能（VHR）光学衛星画像を用いた深層学習ベースの土地被覆分類に関する体系的レビューを提示しており、分析単位、モデルのスケーラビリティ、および移行可能性に焦点を当てている。データの疎らさ、クラス不均衡、ドメインシフト、マルチソース統合といった重要な課題に対処し、リモートセンシング画像解析分野における今後の研究のための構造的知見と提言を提供する。

ABSTRACT

As an important application in remote sensing, landcover classification remains one of the most challenging tasks in very-high-resolution (VHR) image analysis. As the rapidly increasing number of Deep Learning (DL) based landcover methods and training strategies are claimed to be the state-of-the-art, the already fragmented technical landscape of landcover mapping methods has been further complicated. Although there exists a plethora of literature review work attempting to guide researchers in making an informed choice of landcover mapping methods, the articles either focus on the review of applications in a specific area or revolve around general deep learning models, which lack a systematic view of the ever advancing landcover mapping methods. In addition, issues related to training samples and model transferability have become more critical than ever in an era dominated by data-driven approaches, but these issues were addressed to a lesser extent in previous review articles regarding remote sensing classification. Therefore, in this paper, we present a systematic overview of existing methods by starting from learning methods and varying basic analysis units for landcover mapping tasks, to challenges and solutions on three aspects of scalability and transferability with a remote sensing classification focus including (1) sparsity and imbalance of data; (2) domain gaps across different geographical regions; and (3) multi-source and multi-view fusion. We discuss in detail each of these categorical methods and draw concluding remarks in these developments and recommend potential directions for the continued endeavor.

研究の動機と目的

• 深層学習の急速な進歩に伴い、VHR土地被覆分類手法の複雑化と断片化が進行しているのを是正するため。
• VHR光学画像を用いた土地被覆マッピングにおける学習手法と分析単位について、体系的な概要を提供するため。
• データの疎らさ、クラス不均衡、および地理的領域間のドメインシフトを含む、スケーラビリティと移行可能性の課題を調査するため。
• モデルの汎化性能と性能を向上させるために、マルチソースおよびマルチビュー統合技術を検討するため。
• データ駆動型リモートセンシング分類分野における今後の研究のための実行可能な提言を提供するため。

提案手法

• 本論文は、ピクセル、パッチ、オブジェクトベース画像解析などの分析単位によって分類される、深層学習ベースの土地被覆分類手法の包括的レビューを実施している。
• VHR画像分類に用いられるさまざまな深層学習アーキテクチャとトレーニング戦略の評価を行い、その性能と限界に注目している。
• データの疎らさと不均衡なトレーニングデータに関連するスケーラビリティの問題を分析し、データ拡張や損失再重み付けなどの技術を提案している。
• 地理的領域間のドメインギャップへの対処として、ドメイン適応と自己教師あり学習の手法を用いている。
• マルチソースおよびマルチビュー統合技術をレビューしており、光学、SAR、および文脈的情報データを統合してモデルの頑健性を向上させている。
• 最近の文献からの知見を統合し、異なる地域やセンサー間でのモデルの移行可能性と汎化性能を評価している。

実験結果

リサーチクエスチョン

• RQ1 ピクセル、パッチ、オブジェクトなどの異なる分析単位は、VHR土地被覆分類における深層学習モデルの性能とスケーラビリティにどのように影響を与えるか？
• RQ2 VHRリモートセンシング画像分類において、データの疎らさとクラス不均衡に対処するための最も効果的な技術は何か？
• RQ3 異なる地理的領域間のドメインギャップをどのように軽減することで、モデルの移行可能性を向上させられるか？
• RQ4 マルチソースおよびマルチビュー統合による土地被覆分類の向上において、主な課題と解決策は何か？
• RQ5 データ駆動型リモートセンシング応用におけるモデルのスケーラビリティと移行可能性を向上させるために、最も有望な方向性は何か？

主な発見

• 本レビューでは、オブジェクトベースおよびパッチベースの分析単位が、文脈的理解が優れているため、VHR画像においてピクセルレベル分類よりも一般的に優れた性能を示すと判明した。
• データ拡張とクラス再重み付け技術は、データが疎らで不均衡な状況下でも、モデルの性能を顕著に向上させる。
• 自己教師あり学習や敵対的訓練を含むドメイン適応手法は、地域間のドメインギャップを低減する上で強く有望な可能性を示している。
• 特に光学画像とSARデータを統合するマルチソース統合は、複雑な環境下での分類精度と頑健性を向上させる。
• 大規模かつ多様なデータセットで事前学習を行い、限られたターゲットドメインデータで微調整することで、移行可能性が向上する。
• 進展は見られるものの、特にリソースが乏しくデータが乏しい地域において、一般化性とスケーラビリティの課題は依然として残っている。