[論文レビュー] Reciprocal Translation between SAR and Optical Remote Sensing Images with Cascaded-Residual Adversarial Networks

Shilei Fu, Feng Xu+1 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Image Processing Techniques参考文献 41被引用数 7

ひとこと要約

本稿では、解釈可能性を向上させるために、ペア化されたデータとペアでないデータを活用して、SARと光学リモートセンシング画像の間で相互翻訳を実現する、段階的残差生成対抗ネットワークを提案する。この手法はハイブリッドL1-GAN損失を用いて最先端の性能を達成しており、GF-3およびUAVSARを含む多様なSARおよび光学データセットにおいても頑健である。FIDスコアは高品質な画像翻訳を示している。

ABSTRACT

Despite the advantages of all-weather and all-day high-resolution imaging, synthetic aperture radar (SAR) images are much less viewed and used by general people because human vision is not adapted to microwave scattering phenomenon. However, expert interpreters can be trained by comparing side-by-side SAR and optical images to learn the mapping rules from SAR to optical. This paper attempts to develop machine intelligence that are trainable with large-volume co-registered SAR and optical images to translate SAR image to optical version for assisted SAR image interpretation. Reciprocal SAR-Optical image translation is a challenging task because it is raw data translation between two physically very different sensing modalities. This paper proposes a novel reciprocal adversarial network scheme where cascaded residual connections and hybrid L1-GAN loss are employed. It is trained and tested on both spaceborne GF-3 and airborne UAVSAR images. Results are presented for datasets of different resolutions and polarizations and compared with other state-of-the-art methods. The FID is used to quantitatively evaluate the translation performance. The possibility of unsupervised learning with unpaired SAR and optical images is also explored. Results show that the proposed translation network works well under many scenarios and it could potentially be used for assisted SAR interpretation.

研究の動機と目的

• マイクロ波画像における人間の認知ギャップを解消するために、解釈可能なSARと光学リモートセンシング画像間の翻訳を可能にする機械学習モデルの開発。
• 撮影の物理的特性や信号特性の違いにより、物理的に異なるSARと光学データを直接翻訳する課題への対処。
• ペア化されたデータとペアでないデータの両方の学習設定を可能にし、汎用性と実用的応用性を向上。
• 高度なディープラーニングアーキテクチャを通じて、翻訳画像の視覚的忠実度と構造的一致性の向上。
• SAR入力から写真的で光学に似た視覚を生成することで、SAR画像の支援的解釈を支援。

提案手法

• SARと光学画像間の双方向マッピングを学習するため、段階的残差対抗ネットワークアーキテクチャを設計。
• 長距離のスキップ接続を介して微細なディテールを保持しながら、訓練を安定化させるために、残差ブロックを段階的に積み重ねる。
• ピクセル単位の再構成精度を確保するL1損失と、知覚的リアリズムを向上させるGAN損失を組み合わせたハイブリッド損失関数を採用。
• ペア化されたSAR-光学画像データセットとペアでないデータセットの両方を用いて、エンドツーエンドで学習し、非教師あり適応を可能に。
• 両方向に敵対的訓練を適用することで、SAR → 光学および光学 → SARの両方の相互一貫性を確保。
• 地上局のGF-3および航空機搭載のUAVSARデータセットを用いて評価し、解像度や偏光状態の異なる条件をカバー。

実験結果

リサーチクエスチョン

• RQ1 SARと光学リモートセンシング画像の間には物理的・統計的差異があるが、深層生成モデルがそれらの相互翻訳を効果的に学習できるか。
• RQ2 直接的な画像対応がない未ペア学習設定下で、提案された段階的残差GANはどの程度の性能を示すか。
• RQ3 標準的なGANと比較して、ハイブリッドL1-GAN損失は、翻訳画像の知覚的品質と構造的一致性をどの程度向上させるか。
• RQ4 GF-3およびUAVSARのような異なるSAR画像の解像度、偏光状態、センサータイプに対し、モデルの頑健性はどの程度か。
• RQ5 SAR入力から人間の解釈を支援する写真的で光学に似た画像を生成できるか。

主な発見

• 提案手法は、Fréchet Inception Distance (FID) で測定した結果、SARから光学、光学からSARへの翻訳タスクで最先端の性能を達成。
• 空間基盤のGF-3および航空機搭載のUAVSARを含む多様なデータセットにおいて、強力な汎用性を示し、解像度や偏光状態に関係なく一貫した性能を発揮。
• ハイブリッドL1-GAN損失は、ピクセル単位の正確さと知覚的リアリズムの両立を可能にし、画像品質を顕著に向上。
• ペアでないデータを用いた非教師あり学習により、対応する画像例がなくても意味のあるクロスモダリティ表現を学習できることを示し、競争力のある結果を得た。
• 視覚的検証により、翻訳画像が構造的および意味的整合性を保持していることが確認され、SAR画像の支援的解釈に応用可能であることが示された。