[論文レビュー] Super-resolution Reconstruction of SAR Image based on Non-Local Means Denoising Combined with BP Neural Network

Zeling Wu, Haoxiang Wang|arXiv (Cornell University)|Dec 14, 2016

Advanced Image Processing Techniques参考文献 5被引用数 13

ひとこと要約

本稿では、バックプロパゲーションニューラルネットワーク（BPNN）と非局所平均ノイズ除去を組み合わせることで、SAR画像のスーパーレゾリューション手法を提案する。自己相似パッチを、改良されたNL-平均アルゴリズムから得た入力としてBPNNに供給することで、再構成品質を向上させ、エッジの明瞭さを向上させ、ベースライン手法と比較して高いPSNRおよびENL値を達成する。

ABSTRACT

In this article, we propose a super-resolution method to resolve the problem of image low spatial because of the limitation of imaging devices. We make use of the strong non-linearity mapped ability of the back-propagation neural networks(BPNN). Training sample images are got by undersampled method. The elements chose as the inputs of the BPNN are pixels referred to Non-local means(NL-Means). Making use of the self-similarity of the images, those inputs are the pixels which are pixels gained from modified NL-means which is specific for super-resolution. Besides, small change on core function of NL-means has been applied in the method we use in this article so that we can have a clearer edge in the shrunk image. Experimental results gained from the Peak Signal to Noise Ratio(PSNR) and the Equivalent Number of Look(ENL), indicate that adding the similar pixels as inputs will increase the results than not taking them into consideration.

研究の動機と目的

• ハードウェア制限によるSAR画像の空間的解像度の低さを解消すること。
• BPニューラルネットワークの非線形マッピング能力を活用してスーパーレゾリューションを実現すること。
• 改良されたNL-平均アルゴリズムから得た自己相似ピクセル構造を入力特徴として組み込むことで、画像品質を向上させること。
• NL-平均のコア関数を変更することで、再構成画像におけるエッジ保持を強化すること。
• PSNRおよび等価ルック数（ENL）を評価指標として用いて、優れた性能を示すこと。

提案手法

• 低解像度SAR画像をシミュレートするためにアンダーサンプリング法を用いてトレーニングサンプルを生成する。
• コア関数を調整することでエッジの明瞭さを向上させる、改良された非局所平均（NL-平均）アルゴリズムを適用する。
• 改良されたNL-平均から抽出した自己相似ピクセルパッチを、BPニューラルネットワークの入力特徴として使用する。
• 自己相似ピクセル入力を用いて、低解像度から高解像度へのマッピングをBPNNが学習する。
• SAR画像の自己相似性を活用することで、再構成の忠実度を向上させ、ノイズを低減する。
• 改良されたNL-平均によるノイズ除去と、ディープラーニングベースのスーパーレゾリューションを統合することで、出力品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 改良されたNL-平均アルゴリズムから得た自己相似ピクセル構造を組み込むことで、SAR画像のスーパーレゾリューションが向上するか？
• RQ2 NL-平均特徴の使用が、SAR画像再構成におけるPSNRおよびENLに与える影響は何か？
• RQ3 NL-平均のコア関数を変更することで、スーパーレゾリューションSAR画像におけるエッジ保持が向上するか？
• RQ4 標準ピクセル入力と比較して、BPNNは自己相似入力特徴からどの程度の利益を得るか？
• RQ5 NL-平均ノイズ除去とBPNNの組み合わせは、ベースライン手法よりも優れたスーパーレゾリューション性能を達成できるか？

主な発見

• 自己相似ピクセル入力を使用しない手法と比較して、提案手法は高いピーク信号対ノイズ比（PSNR）を達成する。
• 等価ルック数（ENL）の値が向上し、スペックル低減およびテクスチャの保持が良好であることが示された。
• 改良されたNL-平均アルゴリズムにより、再構成された高解像度SAR画像におけるエッジの明瞭さが向上した。
• BPNNに自己相似パッチを入力特徴として組み込むことで、再構成品質に顕著な改善が見られた。
• NL-平均によるノイズ除去とBPニューラルネットワークの組み合わせは、SARデータにおける従来のスーパーレゾリューション技術を上回る性能を示した。
• 本手法は、低解像度SAR画像における画像ディテールの保持とノイズ低減において、頑健性を示した。