[論文レビュー] Generating High Quality Visible Images from SAR Images Using CNNs

Puyang Wang, Vishal M. Patel|arXiv (Cornell University)|Feb 27, 2018

Image and Signal Denoising Methods参考文献 23被引用数 7

ひとこと要約

本論文では、スペックルノイズを含むSAR画像から高品質な可視光に似たRGB画像を生成するための深層学習フレームワーク、SAR-GANを提案する。本手法は、ノイズ除去と彩色化を組み合わせた段階的なCNNアーキテクチャを採用しており、GANベースの adversarial loss を活用することで、PSNR、SSIM、および知覚的品質の観点で、合成および実際のSARデータにおいて最先端の手法を上回るノイズ低減と現実的な彩色化を実現する。

ABSTRACT

We propose a novel approach for generating high quality visible-like images from Synthetic Aperture Radar (SAR) images using Deep Convolutional Generative Adversarial Network (GAN) architectures. The proposed approach is based on a cascaded network of convolutional neural nets (CNNs) for despeckling and image colorization. The cascaded structure results in faster convergence during training and produces high quality visible images from the corresponding SAR images. Experimental results on both simulated and real SAR images show that the proposed method can produce visible-like images better compared to the recent state-of-the-art deep learning-based methods.

研究の動機と目的

• SAR画像はスペックルノイズによって劣化しやすく、色情報が欠落しているため、その解釈を容易にする課題に対処すること。
• 同時にスペックルノイズを除去し、現実的な色を付与する深層学習ベースの手法を開発すること。
• 人間およびコンピュータビジョンシステムにおけるSAR画像の意味的解釈性と視覚的品質を向上させること。
• ノイズ低減および彩色化性能において、既存の最先端手法を上回ること。

提案手法

• 本手法は、2つのサブネットワーク（ノイズ低減ネットワーク $G_D$ と彩色化ネットワーク $G_C$）を備えた段階的な生成的敵対ネットワーク（GAN）を採用する。
• 生成器は $G = G_C \circ G_D$ で定義され、$G_D$ は入力SAR画像のノイズを低減し、$G_C$ はノイズ低減済み画像を可視光に似たRGB画像に変換する。
• リアルな質感を実現するために、敵対的訓練を通じて自然な色分布を促進するため、識別器ネットワーク $D$ が用いられる。
• ピクセルレベルの忠実性と知覚的品質の両立を図るため、$L_1$ 損失と敵対的損失の組み合わせでモデルを訓練する。
• ノイズ低減ネットワークは、SAR画像修復に関する先行研究を応用しており、効果的なノイズ抑制を実現する。
• 彩色化ネットワークは、グレースケールのノイズ低減済み画像を現実的なRGB出力にマッピングするように学習され、条件付きGANの構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 段階的なCNN-GANアーキテクチャは、ノイズの多いSAR入力から高品質な可視光に似た画像を効果的に生成できるか？
• RQ2 敵対的訓練を組み込むことで、$L_1$ 損失のみの手法と比較して、生成画像のリアルさと知覚的品質が向上するか？
• RQ3 定量的指標と視覚的忠実度の観点から、本手法は最先端のノイズ低減および彩色化技術と比較してどのように性能を発揮するか？
• RQ4 本手法は実世界のSARデータにも一般化可能であり、解釈可能で視覚的に妥当な出力を得られるか？

主な発見

• 合成SAR画像（$L=1$）において、SAR-GANはPSNR 24.74 dB、SSIM 0.727、UQI 0.621を達成し、すべてのベースラインを上回った。
• $L=4$ の場合、SAR-GANはPSNR 26.89 dB、SSIM 0.818、UQI 0.723を達成し、中程度のノイズ下でも優れた性能を示した。
• $L=10$ の場合、SAR-GANはPSNR 28.07 dB、SSIM 0.853、UQI 0.765を達成し、低ノイズ条件下での優れたノイズ低減および彩色化性能を示した。
• SAR-GANのノイズ低減ゲイン（DG）は $L=10$ 時に17.35に達し、SAR-BM3D（13.61）を著しく上回り、優れたノイズ抑制性能を示した。
• 合成データにおける視覚的比較では、SAR-GANは $L_1$ 損失のみの手法やSAR-BM3D前処理を用いた手法と比較して、より少ないアーティファクトとより自然な色合いの画像を生成した。
• RADARSAT-1から得た実際のSARデータにおいて、SAR-GANは対応する光学衛星画像と構造的および色的によく一致する可視光に似た画像を生成し、実用応用可能性を裏付けた。