[論文レビュー] NightVision: Generating Nighttime Satellite Imagery from Infra-Red Observations

Paula Harder, William K. Jones+9 more|arXiv (Cornell University)|Nov 13, 2020

Impact of Light on Environment and Health参考文献 12被引用数 8

ひとこと要約

本稿では、U-Netベースのアーキテクチャを用いて、夜間の赤外線（IR）観測から高品質な可視衛星画像を生成する深層学習手法を提案する。条件付き生成対抗ネットワーク（cGAN）または標準的なU-Netフレームワークにおいて、構造的類似度（SSIM）とL1損失を併用することで、テストデータで最大86%のSSIMを達成し、IR入力から視覚的に現実的な昼間の画像に近い画像を生成する。特に、U-Net++モデルが忠実度と詳細性において他のモデルを上回った。

ABSTRACT

The recent explosion in applications of machine learning to satellite imagery often rely on visible images and therefore suffer from a lack of data during the night. The gap can be filled by employing available infra-red observations to generate visible images. This work presents how deep learning can be applied successfully to create those images by using U-Net based architectures. The proposed methods show promising results, achieving a structural similarity index (SSIM) up to 86\% on an independent test set and providing visually convincing output images, generated from infra-red observations.

研究の動機と目的

• 地球観測における24時間体制の機械学習応用を制限する、夜間における可視衛星画像の不足に対処する。
• 利用可能な夜間の赤外線（IR）観測データから、可視（RGB）画像を合成することで、データギャップを埋める。
• 赤外線から可視スペクトルへの一般化が良好に機能する深層学習フレームワークを開発し、大気および地表面の特徴を継続的にモニタリング可能にする。
• 生成画像の構造的および色の忠実度を向上させ、アーティファクトを低減することで、夜間予測のモデル性能を向上させる。
• 気候関連の応用に焦点を当て、IRから可視への変換を含むリモートセンシング分野におけるクロススペクトル画像変換のベンチマークを確立する。

提案手法

• スキップ接続を用いて空間的詳細を保持するU-Netベースのアーキテクチャを生成器として採用し、赤外線（IR）入力画像を可視（RGB）出力画像にマッピングする。
• 局所的な画像パッチを分類するPatchGAN識別器を備えた条件付き生成対抗ネットワーク（cGAN）を採用し、高周波成分のテクスチャの一貫性を強制する。
• 生成器損失関数に構造的類似度（SSIM）とL1損失を統合する：$\mathcal{L}_{\text{total}} = \lambda \mathcal{L}_{\text{SSIM}} + \mu \mathcal{L}_{1}$、ここで$\lambda = 0.01$、$\mu = 10$。
• デコーダーにドロップアウト層を適用して確率的要因を導入し、ランダムノイズ入力への依存を回避することで一般化性能を向上させる。
• Adam最適化アルゴリズムを用い、学習率スケジューリングと早期停止を適用してモデルを訓練する。cGANでは、生成器の指導をバランスさせるために二重識別器バックプロパゲーションを実装する。
• GOES-16の原始的なABI放射率データをSatPyを用いて、経度-85°から-70°、緯度-15°から-30°の領域に限定し、127×127のRGB合成画像に変換して前処理する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、夜間の赤外線衛星観測を現実的な可視スペクトル画像に効果的に変換できるか？
• RQ2 U-Net、U-Net++、および条件付きGANといった異なるアーキテクチャは、IR入力からの可視画像生成において、忠実度と構造的正確性の観点でどのように比較されるか？
• RQ3 L1損失に加えてSSIM損失を組み込むことで、生成画像の知覚的品質と構造的一致性はどの程度向上するか？
• RQ4 特に色の正確性と黒いスポットの形成に関して、夜間予測における主なアーティファクトと制限要因は何か？
• RQ5 日中の訓練データから学習したモデルは、昼と夜の間でIR信号の挙動に顕著な違いがあるにもかかわらず、妥当な夜間の可視画像を効果的に一般化できるか？

主な発見

• U-Net++モデルは、独立したテストセットで最高の構造的類似度指数（SSIM）0.86を達成し、cGAN（0.77）および標準U-Net（0.85）を上回った。
• U-Net++モデルは、RMSEが0.07と最低となり、cGAN（0.11）およびU-Net（0.09）に比べて優れたピクセル単位の正確性を示した。
• 視覚的検証により、U-Net++が生成した画像は昼間の真値とほとんど区別がつかないことが確認され、雲の形状、陸上、海洋の特徴が正確に再現されていた。
• cGANモデルはU-Netの変種よりも優れた色再現性を示したが、PatchGANの学習に起因する水平および垂直のラインアーティファクトを発生させた。
• U-NetおよびU-Net++モデルは、夜間予測において黒い縁と過剰に暗くなった海洋領域を示しており、低コントラストなIR信号の処理を改善する必要があることを示唆した。
• すべての深層学習モデルはk-NNベースライン（SSIM 0.15）を著しく上回り、地球観測分野におけるクロススペクトル画像変換において、深層アーキテクチャの有効性を実証した。