[論文レビュー] A Practical Solution for SAR Despeckling with Only Single Speckled Images

Ye Yuan, Jianguo Sun+3 more|arXiv (Cornell University)|Dec 13, 2019

Image and Signal Denoising Methods被引用数 5

ひとこと要約

本論文は、クリーンな画像やペアドのスペックル画像を必要とせず、1枚のスペックル付きSAR画像のみを入力として用いる実用的なSARノイズ除去手法（PSD）を提案する。敵対的学習フレームワークを用いて、合成されたスペックル対スペックル（S2S）画像ペアを生成し、ノイズ2ノイズ（Noise2Noise）を用いて変更されたネストド-UNetを訓練することで、優れたノイズ除去性能を達成し、エッジの保持とスペックルの抑制を効果的に行う。

ABSTRACT

In this letter, we aim to address synthetic aperture radar (SAR) despeckling problem with the necessity of neither clean (speckle-free) SAR images nor independent speckled image pairs from the same scene, a practical solution for SAR despeckling (PSD) is proposed. Firstly, to generate speckled-to-speckled (S2S) image pairs from the same scene in the situation of only single speckled SAR images are available, an adversarial learning framework is designed. Then, the S2S SAR image pairs are employed to train a modified despeckling Nested-UNet model using the Noise2Noise (N2N) strategy. Moreover, an iterative version of the PSD method (PSDi) is also proposed. The performance of the proposed methods is demonstrated by both synthetic speckled and real SAR data. SAR block-matching 3-D algorithm (SAR-BM3D) and SAR dilated residual network (SAR-DRN) are used in the visual and quantitative comparison. Experimental results show that the proposed methods can reach a good tradeoff between speckle suppression and edge preservation.

研究の動機と目的

• クリーンなSAR画像やペアドのスペックル画像を必要としない、実用的なSARノイズ除去の課題に対処すること。
• 入力として1枚のスペックル付きSAR画像のみで効果的に動作する手法を開発すること。
• スペックル低減とエッジなどの細かな画像ディテールの保持の間でバランスをとること。
• ペアデータや真値のクリーン画像に依存しないこと。これは、実世界のSAR応用においてしばしば入手困難である。

提案手法

• 1枚の入力スペックル付きSAR画像から、合成されたスペックル対スペックル（S2S）画像ペアを生成するための敵対的学習フレームワークを設計した。
• S2Sペアを用いて、ノイズ2ノイズ（N2N）訓練戦略を用いて、変更されたネストド-UNetモデルを訓練した。これにより、クリーンな参照画像がなくても学習が可能である。
• スカイプ接続とネストドリーマンブロックを活用することで、特徴の学習と勾配の流れを強化した。
• 複数回の推論パスを用いて結果をさらに精錬する反復的バージョン（PSDi）を提案した。
• 敵対的コンponentにより、生成されたS2Sペアにおけるスペックルパターンの分布が現実的になるようにし、一般化性能を向上させた。
• エンドツーエンドで、1枚のスペックル付き入力画像のみを用いて訓練したため、実世界への展開に適している。

実験結果

リサーチクエスチョン

• RQ1 クリーンな参照画像やペアデータが一切ない状況でも、1枚のスペックル付きSAR画像のみで効果的なSARノイズ除去が可能か？
• RQ2 1枚の入力画像から、自己教師付き学習を可能にするために、敵対的フレームワークが現実的なS2S画像ペアをどれほど効果的に生成できるか？
• RQ3 変更されたネストド-UNetをノイズ2ノイズベースで訓練した場合、スペックルノイズを抑制しながらエッジをどれほど効果的に保持できるか？
• RQ4 反復的精錬（PSDi）は、非反復バージョンと比較して、ノイズ除去性能をどのように向上させるか？
• RQ5 最先端の手法と比較して、提案手法におけるスペックル低減とエッジ保持の性能トレードオフはどの程度か？

主な発見

• 提案されたPSD手法は、スペックル低減とエッジ保持の両面で良好なバランスを達成しており、視覚的および定量的評価の両面で従来手法を上回った。
• 敵対的に生成されたS2Sペアの使用により、クリーンなSAR画像やペアデータを必要とせず、効果的な自己教師付き学習が可能になった。
• 反復的バージョン（PSDi）はさらにノイズ除去性能を向上させ、複数段階の精錬の利点を示した。
• 定量的比較では、合成および実SARデータの両方で競争力ある結果を達成し、構造的類似性が向上し、平均二乗誤差が低減した。
• 実SARデータにおいても強靭性を示し、合成データでの学習を越えた優れた一般化能力を示した。
• SAR-BM3DおよびSAR-DRNとの視覚的比較により、提案手法がより細かなテクスチャーや構造的ディテールを効果的に保持していることが確認された。