[論文レビュー] DeepSWIR: A Deep Learning Based Approach for the Synthesis of Short-Wave InfraRed Band using Multi-Sensor Concurrent Datasets

Litu Rout, Yatharath Bhateja+4 more|arXiv (Cornell University)|May 7, 2019

Remote-Sensing Image Classification被引用数 7

ひとこと要約

本稿では、LISS-IIIとLISS-IVセンサーの同時観測による24mおよび5m解像度のバンドを用いて、5m空間解像度の短波赤外（SWIR）バンドを合成する深層学習フレームワーク、DeepSWIRを提案する。低解像度SWIRのスペクトルマッピングと高解像度可視/NIRバンドの空間的詳細を統合することで、高精度なスーパーレゾリューションを実現し、補間法を上回る性能を示し、Sentinel-2B TOA反射率と強い放射計的一致性を示し、湿地マッピングへの応用性も示している。

ABSTRACT

Convolutional Neural Network (CNN) is achieving remarkable progress in various computer vision tasks. In the past few years, the remote sensing community has observed Deep Neural Network (DNN) finally taking off in several challenging fields. In this study, we propose a DNN to generate a predefined High Resolution (HR) synthetic spectral band using an ensemble of concurrent Low Resolution (LR) bands and existing HR bands. Of particular interest, the proposed network, namely DeepSWIR, synthesizes Short-Wave InfraRed (SWIR) band at 5m Ground Sampling Distance (GSD) using Green (G), Red (R) and Near InfraRed (NIR) bands at both 24m and 5m GSD, and SWIR band at 24m GSD. To our knowledge, the highest spatial resolution of commercially deliverable SWIR band is at 7.5m GSD. Also, we propose a Gaussian feathering based image stitching approach in light of processing large satellite imagery. To experimentally validate the synthesized HR SWIR band, we critically analyse the qualitative and quantitative results produced by DeepSWIR using state-of-the-art evaluation metrics. Further, we convert the synthesized DN values to Top Of Atmosphere (TOA) reflectance and compare with the corresponding band of Sentinel-2B. Finally, we show one real world application of the synthesized band by using it to map wetland resources over our region of interest.

研究の動機と目的

• 商業リモートセンシングにおいて最高で7.5m解像度（例：WorldView-3）であるが、高解像度SWIRデータの不足に取り組む。
• LISS-IIIとLISS-IVの既存の24mおよび5m解像度バンドを用いて、同時観測が可能な5m SWIRデータが存在しない状況を補い、仮想的な5m SWIRバンドを合成する。
• 低解像度SWIRのスペクトル特性を保持しつつ、高解像度可視および近赤外バンドを用いて空間解像度を向上させる深層学習モデルを開発する。
• 定量的指標と湿地資源の境界指定といった実世界の応用を用いて、合成されたバンドの妥当性を検証する。
• 大規模な衛星画像処理を円滑に実施できるよう、ガウスフェザリングに基づく画像ステッチ法を提案する。

提案手法

• LISS-III（G、R、NIR、SWIR）の同時24mバンドを用いて、スペクトルマッピングを学習する、カスタマイズされた畳み込みニューラルネットワーク（CNN）、名前をDeepSWIRとして、エンドツーエンドで訓練する。
• 訓練済みモデルを用いて、24m LISS-III SWIRのスペクトル特性と5m LISS-IV G、R、NIRバンドの空間的詳細を統合し、5m SWIRバンドを合成する。
• スケール不変性の仮定を活用して、24mバンドを低解像度にダウンスケーリングすることで合成学習データを生成し、相対的解像度差を保持する。
• バンド合成後に、ガウスフェザリングを適用し、大規模な衛星画像をシームレスにステッチする。これにより、シームアーチファクトを最小限に抑える。
• 合成SWIRバンドのデジタルナンバー（DN）値を、Sentinel-2Bとの放射計的比較のための地上反射率（TOA）に変換する。
• 実世界の応用における実用性を評価するため、単純だが効果的な湿地境界指定アルゴリズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチセンサープラットフォームの同時24mおよび5m解像度バンドのみを用いて、深層学習モデルが5m空間解像度のSWIRバンドを効果的に合成できるか。
• RQ2 合成されたSWIRバンドが、24m SWIRバンドのスペクトル特性をどれほど保持しつつ、5m空間解像度を達成しているか。
• RQ3 合成されたバンドが、均一な表面において実際のSentinel-2B SWIRデータのTOA反射率とどの程度一致するか。
• RQ4 合成されたSWIRバンドが、補間または低解像度SWIRデータと比較して、湿地資源マッピングの精度を向上させられるか。
• RQ5 提案されたガウスフェザリングに基づく画像ステッチ法が、大規模な衛星画像シーンのシームレス処理にどの程度効果的か。

主な発見

• 合成された5m SWIRバンドは、均一な特徴領域においてSentinel-2BのTOA反射率と強く類似しており、スペクトル忠実度が妥当であることが検証された。
• 定量的評価では、DeepSWIRモデルが、空間的およびスペクトル的詳細の保持において、従来の補間法や統合手法を上回ることが示された。
• 合成されたSWIRバンドにより、5m NIRおよび可視バンドのみを用いた場合に見逃される細い湿地特徴の正確な境界指定が可能になった。
• 高解像度可視およびNIRバンドのみを用いた場合と比較して、合成SWIRバンドの使用により、湿地マッピングにおける誤検出（ファルスポジティブ）が顕著に減少した。
• ガウスフェザリングに基づくステッチ法により、目立つアーチファクトを最小限に抑え、大規模な衛星画像のシームレスなモザイキングが成功した。
• 学習データに合成ダウンスケーリングによるノイズが含まれない実際の24mデータからのスペクトルマッピングを学習することで、モデルはスーパーレゾリューションにおいて高い性能を達成した。