[論文レビュー] SAR Image Colorization: Converting Single-Polarization to Fully Polarimetric Using Deep Neural Networks

Qian Song, Feng Xu+1 more|arXiv (Cornell University)|Jul 22, 2017

Synthetic Aperture Radar (SAR) Applications and Techniques参考文献 1被引用数 3

ひとこと要約

本論文では、2段階のネットワークを用いて単一ポラリメトリックSAR画像を完全ポラリメトリックSAR画像に変換する深層学習フレームワークを提案する。まず特徴抽出器がマルチスケールの空間的特徴を捉え、その後、それらを共分散行列再構成に適したポラリメトリック特徴に変換する特徴変換器が続く。この手法は高い忠実度の再構成を達成し、分解や分類などのポラリメトリックSAR（PolSAR）解析手法の直接適用を可能にする。

ABSTRACT

A deep neural networks based method is proposed to convert single polarization grayscale SAR image to fully polarimetric. It consists of two components: a feature extractor network to extract hierarchical multi-scale spatial features of grayscale SAR image, followed by a feature translator network to map spatial feature to polarimetric feature with which the polarimetric covariance matrix of each pixel can be reconstructed. Both qualitative and quantitative experiments with real fully polarimetric data are conducted to show the efficacy of the proposed method. The reconstructed full-pol SAR image agrees well with the true full-pol image. Existing PolSAR applications such as model-based decomposition and unsupervised classification can be applied directly to the reconstructed full-pol SAR images. This framework can be easily extended to reconstruction of full-pol data from compact-pol data. The experiment results also show that the proposed method could be potentially used for interference removal on the cross-polarization channel.

研究の動機と目的

• 完全ポラリメトリックSAR（PolSAR）データの不足を補うために、単一ポラリティSAR画像からそれを合成すること。
• 強度情報のみのSAR画像から完全ポラリメトリック共分散行列を予測する深層ニューラルネットワークフレームワークの開発。
• 再構成されたデータ上で、モデルベースの分解や非教師分類などの下流のPolSAR応用を可能にすること。
• 学習されたマッピングを通じて、クロスポーラリゼーションチャネルの干渉低減の可能性を検討すること。
• 本手法をコンact-pol SARデータからの再構成に拡張し、適用範囲を広げること。

提案手法

• 2段階の深層ニューラルネットワークを採用する：まず、特徴抽出器ネットワークが入力の単一ポラリティSAR画像を処理し、階層的なマルチスケール空間特徴を抽出する。
• 特徴抽出器は畳み込み層を用いてグレースケールのSAR強度データから空間的表現を学習する。
• その後、抽出された空間的特徴を各ピクセルの完全共分散行列に対応するポラリメトリック特徴にマッピングする特徴変換器ネットワークが続く。
• 予測された共分散行列と真値との間の再構成誤差を最小化するように、ネットワークをエンドツーエンドで訓練する。
• 予測された共分散行列を用いて完全ポラリメトリックSAR画像を再構成し、効果的に「カラーリング」された単一ポラリティ入力を得る。
• 入力および出力層を変更することで、コンパクトポラリティSAR信号モデルに適合させることで、本フレームワークはコンパクトポラリティSARデータに対しても適用可能となる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、単一ポラリティSAR強度画像から完全ポラリメトリック共分散行列を正確に再構成できるか？
• RQ2 再構成されたPolSARデータは、実際の完全ポラリティSARデータの統計的および構造的特性をどの程度保持しているか？
• RQ3 モデルベースの分解や非教師分類などの標準的なPolSAR解析手法は、再構成されたデータに効果的に適用できるか？
• RQ4 本手法は、SARデータにおけるクロスポーラリゼーションチャネル干渉の低減に潜在的な効果を示すか？
• RQ5 本フレームワークは、コンパクトポラリティSAR入力から完全ポラリティデータを再構成するために一般化可能か？

主な発見

• 提案手法は、実際のPolSARデータとの定性的および定量的比較を通じて、高忠実度で単一ポラリティ入力から完全ポラリメトリックSAR画像を再構成できることを検証した。
• 再構成された共分散行列は真値に非常に近く、モデルベースの分解などの標準的なPolSAR解析ツールの正確な適用を可能にした。
• 再構成データに非教師分類を適用した結果、実際の完全ポラリティSARデータを用いた場合と同等の性能が達成された。
• 本手法は、さまざまな地形タイプにわたり、ポラリメトリックの多様性および散乱特性を効果的に保持していることが示された。
• ノイズ混在または損傷を受ける入力からクリアなポラリメトリック表現を学習することで、クロスポーラリゼーションチャネルの干渉抑制の可能性を示した。
• 本手法はコンパクトポラリティSARデータに対しても拡張可能であり、限られたポラリメトリック取得が可能な状況におけるより広範な応用可能性を示唆している。