[論文レビュー] Despeckling Polarimetric SAR Data Using a Multi-Stream Complex-Valued Fully Convolutional Network

Adugna Mullissa, Claudio Persello+1 more|arXiv (Cornell University)|Mar 12, 2021

Synthetic Aperture Radar (SAR) Applications and Techniques参考文献 22被引用数 29

ひとこと要約

本稿では、双偏光SARデータの複素数値共分散行列を直接処理する多スティーム複素数値完全畳み込みネットワーク、CV-deSpeckNetを提案する。スパッケルは対数ドメインにおける加法的ノイズとしてモデル化される。実部と虚部を分離せずに、両者の数学的関係を保ったまま、同時実虚表現を学習することで、実数値ネットワークや最先端手法に比べ、より少ない学習サンプルで優れた除ノイズ性能と高い汎化性能を達成し、PSNR、SSIM、ENLの値が向上する一方で偏光特徴を保持する。

ABSTRACT

A Polarimetric Synthetic Aperture Radar (PolSAR) sensor is able to collect images in different polarization states, making it a rich source of information for target characterization. PolSAR images are inherently affected by speckle. Therefore, before deriving ad hoc products from the data, the polarimetric covariance matrix needs to be estimated by reducing speckle. In recent years, deep learning based despeckling methods have started to evolve from single channel SAR images to PolSAR images. To this aim, deep learning based approaches separate the real and imaginary components of the complex-valued covariance matrix and use them as independent channels in a standard convolutional neural networks. However, this approach neglects the mathematical relationship that exists between the real and imaginary components, resulting in sub-optimal output. Here, we propose a multi-stream complex-valued fully convolutional network to reduce speckle and effectively estimate the PolSAR covariance matrix. To evaluate the performance of CV-deSpeckNet, we used Sentinel-1 dual polarimetric SAR images to compare against its real-valued counterpart, that separates the real and imaginary parts of the complex covariance matrix. CV-deSpeckNet was also compared against the state of the art PolSAR despeckling methods. The results show CV-deSpeckNet was able to be trained with a fewer number of samples, has a higher generalization capability and resulted in a higher accuracy than its real-valued counterpart and state-of-the-art PolSAR despeckling methods. These results showcase the potential of complex-valued deep learning for PolSAR despeckling.

研究の動機と目的

• 実数値ディープラーニング手法が複素数共分散行列の実部と虚部を分離して処理するため、それらの数学的関係を無視するという限界を是正すること。
• PolSAR共分散行列の内在的構造を除ノイズ中に保持する複素数値ニューラルネットワークアーキテクチャの開発。
• 多スティーム完全畳み込みフレームワークを用いて複素数値特徴学習を活用することで、汎化性能を向上させ、学習データ要件を低減すること。
• 定量的指標と視覚的品質の両面で、既存の最先端PolSAR除ノイズ手法を上回ること。

提案手法

• 対数変換された共分散行列を加法的ノイズモデルとしてモデル化し、クリーン共分散とノイズ成分を別々に推定できる完全畳み込みネットワーク（FCN）の使用を可能にする。
• 二つの同一の複素数値FCNを用いるマルチスティームアーキテクチャ：一方はクリーン共分散行列の推定（FCNcov）、もう一方はノイズの推定（FCNnoise）に使用。
• 最終的な推定値は、クリーン共分散とノイズの予測値の和を指数関数的に処理することで再構成され、元の乗法的ノイズモデルが回復される。
• ペアドのノイズありと参照（時間平均化済み）共分散行列を用いて、PSNRおよびSSIMを最適化する損失関数を用いて、エンドツーエンドで学習される。
• 複素数値演算により、実部と虚部間の位相および振幅関係が保持され、より強力な特徴学習が可能になる。
• 推論時、クリーン共分散推定ブランチ（FCNcov）のみが使用され、効率的なデプロイメントが保証される。

実験結果

リサーチクエスチョン

• RQ1 複素数値ディープラーニングアーキテクチャは、実数値ネットワークを上回って、双偏光SAR共分散行列の除ノイズ性能を向上させることができるか？
• RQ2 実部と虚部を分離せずに共分散行列を複素数ドメインでモデル化することで、より良い汎化性能と低いデータ要件が達成されるか？
• RQ3 提案されたマルチスティーム複素数値FCNは、定量的指標および視覚的品質の面で、既存の最先端PolSAR除ノイズ手法と比べてどのように差をつけるか？
• RQ4 限られた学習データのもとで、微調整なしに、モデルは未学習のテストシーンにどの程度汎化できるか？

主な発見

• CV-deSpeckNetは、テスト画像1において最高のPSNR（31.12）とSSIM（0.87）を達成し、実数値のRV-FCNや最先端手法をすべて上回った。
• テスト画像2では、参照画像で微調整した場合、PSNRが37.28、SSIMが0.88に達し、性能の上限に近づいた。
• テスト画像1ではENLが177.58、テスト画像2では86.81を達成し、次に優れた手法（deSpeckNet：81.46および29.08）を顕著に上回った。
• CV-deSpeckNetは偏光パラメータの絶対誤差を大幅に低減した：テスト画像1では次に優れた手法と比較してα（˜α）を57%、テスト画像2では70%削減した。
• 微調整なしに新たなシーンに効果的に汎化し、テスト画像1では完全にチューニングされたネットワークの90%、テスト画像2では92%の性能を達成した。
• CV-deSpeckNetは学習に7.01時間で完了したが、RV-FCNは1.3時間、deSpeckNetは2.6時間であった。複素数値演算を伴うにもかかわらず、効率的な学習が可能であることを示している。