[論文レビュー] Multisource and Multitemporal Data Fusion in Remote Sensing

Pedram Ghamisi, Behnood Rasti+10 more|arXiv (Cornell University)|Dec 19, 2018

Remote-Sensing Image Classification参考文献 133被引用数 13

ひとこと要約

本論文は、パンシャープニング、LiDAR／ハイパースペクトル統合、ポイントクラウド統合、時系列解析、およびソーシャルメディアデータ統合を含む、マルチソースおよびマルチタイムスケールリモートセンシングデータ統合の包括的レビューを提示している。ソーシャルメディア写真を高分解能リモートセンシングデータと統合することで、データラベリングの質が向上し、分類精度が最大7.68%向上することを示している（例：FCNの精度は71.23%から78.91%に上昇）。

ABSTRACT

The sharp and recent increase in the availability of data captured by different sensors combined with their considerably heterogeneous natures poses a serious challenge for the effective and efficient processing of remotely sensed data. Such an increase in remote sensing and ancillary datasets, however, opens up the possibility of utilizing multimodal datasets in a joint manner to further improve the performance of the processing approaches with respect to the application at hand. Multisource data fusion has, therefore, received enormous attention from researchers worldwide for a wide variety of applications. Moreover, thanks to the revisit capability of several spaceborne sensors, the integration of the temporal information with the spatial and/or spectral/backscattering information of the remotely sensed data is possible and helps to move from a representation of 2D/3D data to 4D data structures, where the time variable adds new information as well as challenges for the information extraction algorithms. There are a huge number of research works dedicated to multisource and multitemporal data fusion, but the methods for the fusion of different modalities have expanded in different paths according to each research community. This paper brings together the advances of multisource and multitemporal data fusion approaches with respect to different research communities and provides a thorough and discipline-specific starting point for researchers at different levels (i.e., students, researchers, and senior researchers) willing to conduct novel investigations on this challenging topic by supplying sufficient detail and references.

研究の動機と目的

• 多様な研究分野におけるマルチソースおよびマルチタイムスケールリモートセンシングデータ統合分野における最近の進展を統合的かつ分析的に整理すること。
• 光学、SAR、LiDARD、ハイパースペクトル、およびソーシャルメディアデータなど、異種のデータソースを効果的に統合し、一貫性があり実行可能な情報に変換する課題に対処すること。
• ビッグデータ、ディープラーニング、および空間的・時間的・スペクトル的統合の文脈において、データ統合分野における主なメソドロジカルなギャップと今後の研究方向性を特定すること。
• ソーシャルメディアデータがリモートセンシング画像分類に与える影響を評価し、高分解能画像のラベリング精度を向上させるためにソーシャルメディア写真を補助ラベリングデータとして用いること。
• リモートセンシング応用分野における統合技術の発展を図る、あらゆる研究レベルの研究者向けに体系的かつ分野特化型の参考文献を提供すること。

提案手法

• マルチソースおよびマルチタイムスケールデータ統合に関する181編の査読済み論文を系統的かつ包括的にレビュー・統合し、統合モダリティおよび研究分野別に分類した。
• リモートセンシングとソーシャルメディア写真の統合を目的とした、特徴ベース、意思決定ベース、およびハイブリッド特徴・意思決定統合戦略に分類された統合技術を整理した。
• ソーシャルメディア写真（SMPs）を用いてラベル付けされたデータセットとそうでないデータセットを用いてトレーニングされたディープラーニングモデル（FCN、CNN、SVM with RBFカーネル）を適用し、ラベリングの影響を評価した。
• ドイツ・フランクフルトのジリニョウ-1衛星データを対象に、事前学習済みのVGG-16ネットワークをクロスエントロピー損失関数を用いて微調整し、画像分類タスクに適用した。
• 地理統計的分析、低ランクモデル、合成カーネル、マルチスケール解析を用いて、データの異種性と解像度向上の課題に対処した。
• コンポーネント置換および部分空間表現技術を用いたパンシャープニングおよび解像度向上の評価を行い、CASIヒューストンなどの実世界データセットを用いて検証した。

実験結果

リサーチクエスチョン

• RQ1 複数のセンサ（例：光学、SAR、LiDAR、ハイパースペクトル）からの異種リモートセンシングデータを、情報抽出の向上を図るために効果的に統合する方法は何か？
• RQ2 高分解能リモートセンシング画像とソーシャルメディア写真を統合する際、分類精度を向上させるために最も効果的な統合戦略は何か？
• RQ3 時間的データを空間的およびスペクトル的情報と統合することで、動的シーン解析に向けた4次元（空間的・時間的）データモデルを構築するにはどうすればよいか？
• RQ4 ビッグデータおよびディープラーニングの文脈において、マルチソースおよびマルチタイムスケールデータ統合における主な課題と今後の研究方向性は何か？
• RQ5 補助ラベリングデータとしてのソーシャルメディア写真が、リモートセンシング画像分類の精度をどの程度向上させるか？

主な発見

• ソーシャルメディア写真（SMPs）を高分解能リモートセンシングデータと統合することで、分類精度が顕著に向上し、FCNの精度はSMPsをラベリングに用いた場合、71.23%から78.91%に上昇した。
• SMPsでラベル付けされたデータでトレーニングされたCNNベースのモデルは全体精度74.85%を達成し、SMPsを用いないモデルの65.72%と比較して9.13%の向上を示した。
• SVMモデルに対してもSMPsの効果が確認され、全体精度は61.16%から62.40%に上昇し、異なる学習パラダイムにおいて一貫した改善が得られた。
• ディープニューラルネットワークにおける特徴ベースおよびハイブリッド特徴・意思決定統合戦略は、リモートセンシングデータとソーシャルメディアデータを効果的に統合し、頑健なシーン分類を可能にした。
• 時系列データを空間的およびスペクトル的情報と統合することで、動的4次元モデリングが可能となり、変化検出および土地被覆モニタリングの能力が向上した。
• メソドロジカルな成熟が進んでも、統合パイプラインの標準化、データの異種性への対処、およびリアルタイム応用におけるビッグデータワークロードへのスケーラビリティの課題は依然として残っている。