[論文レビュー] NeighCNN: A CNN based SAR Speckle Reduction using Feature preserving Loss Function

Praveen Ravirathinam, Darshan Agrawal+1 more|arXiv (Cornell University)|Aug 26, 2021

Image and Signal Denoising Methods参考文献 17被引用数 5

ひとこと要約

NeighCNNは、対数変換を避けるために減法層を用いて乗法的ノイズを直接処理する軽量なCNNアーキテクチャを提案する。複数の損失関数を組み合わせた新規な三部構成の損失関数を導入し、合成SARデータにおいてIDCNNなどの既存手法と比較してPSNRで最大2.44 dBの向上を達成し、最先端の性能を実現した。

ABSTRACT

Coherent imaging systems like synthetic aperture radar are susceptible to multiplicative noise that makes applications like automatic target recognition challenging. In this paper, NeighCNN, a deep learning-based speckle reduction algorithm that handles multiplicative noise with relatively simple convolutional neural network architecture, is proposed. We have designed a loss function which is an unique combination of weighted sum of Euclidean, neighbourhood, and perceptual loss for training the deep network. Euclidean and neighbourhood losses take pixel-level information into account, whereas perceptual loss considers high-level semantic features between two images. Various synthetic, as well as real SAR images, are used for testing the NeighCNN architecture, and the results verify the noise removal and edge preservation abilities of the proposed architecture. Performance metrics like peak-signal-to-noise ratio, structural similarity index, and universal image quality index are used for evaluating the efficiency of the proposed architecture on synthetic images.

研究の動機と目的

• 対数変換に依存せずに乗法的スペックルノイズを効果的に処理できる深層学習ベースのSAR画像デスペックリング手法の開発。
• 効率的な特徴抽出とノイズ抑制を実現する最適な畳み込み層数を有する軽量なCNNアーキテクチャの設計。
• 画素レベルの正確さ、構造的類似性、および高レベルの意味的保持性をバランスさせる新しい損失関数の提案。
• 合成および実SAR画像の両方に対してモデルの性能を評価し、耐性とエッジ保持能力を示す。
• GANを用いた盲目的SARデスペックリングのための基準となるベンチマークの確立。

提案手法

• NeighCNNアーキテクチャは、勾配消失の緩和と収束速度の向上を目的に、ReLU活性化関数とバッチ正則化を用いた12層の畳み込み層を採用。
• 乗法的スペックルノイズを信号依存の加法的ノイズとしてモデル化するため、減法層を導入し、ネットワークの学習タスクを単純化。
• 提案された損失関数は、ユークリッド損失（画素レベルの再構成）、近隣損失（対角差を含む局所構造の一貫性）、および知覚損失（高レベルの意味的類似性）の重み付き和で構成される。
• 知覚損失部では、事前学習済みVGGネットワークの深層層からの特徴を強調する重み係数を用い、構造的忠実度を向上。
• 近隣損失は、標準的な全変動損失を拡張し、対角近隣差分を組み込むことで、テクスチャおよびエッジの一貫性を向上。
• 三部構成の損失関数を用いてエンドツーエンドで学習し、低レベルおよび高レベルの画像品質指標を最適化。

実験結果

リサーチクエスチョン

• RQ1 減法層を備えた単純なCNNアーキテクチャは、対数変換を用いずにSAR画像の乗法的スペックルノイズを効果的に低減できるか？
• RQ2 提案された三部構成の損失関数（ユークリッド、近隣、知覚）は、個別または二部構成の損失関数と比較して、画像品質およびエッジ保持性において優れているか？
• RQ3 SARデスペックリングに最適な畳み込み層の数は何か？性能とモデルの複雑さのバランスをとる。
• RQ4 提案された損失関数は、IDCNN や SARDRN といった最先端手法と比較して、PSNR、SSIM、UQI 指標をどの程度向上させるか？
• RQ5 モデルは実SAR画像に一般化できるか？微細な構造とエッジを保持しながら、スペックルノイズを効果的に除去できるか？

主な発見

• NeighCNNは、全ノイズレベル（L=1 から L=20）において、IDCNNと比較してPSNRで0.68–2.44 dBの向上を達成し、優れたノイズ低減能力を示した。
• 提案された三部構成損失関数は、全L値において、PSNR、SSIM、UQIのすべての指標で、あらゆるアブレーションバリアントを上回り、L=20で最高のSSIM 0.83を達成した。
• L=1では、NeighCNNはPSNR 26.25 dB、SSIM 0.78、UQI 0.54を達成し、SARDRN や IDCNN より顕著に優れた性能を示した。
• 実SAR画像（ToulouseおよびLelystadt）における可視化結果から、NeighCNNはスペックルを効果的に除去しながら、微細なエッジとテクスチャを保持しており、KuanフィルターやSARBM3D、SARDRNを上回った。
• アブレーションスタディの結果、三つの損失成分の組み合わせが不可欠であることが確認され、単一または二成分の損失では、全指標で同等の性能が得られなかった。
• モデルはさまざまなノイズレベルに対して頑健であり、Lが増加するにつれて性能が着実に向上する傾向を示し、異なるスペックル強度に強い一般化能力を示した。