[論文レビュー] Unsupervised Denoising for Satellite Imagery using Wavelet Subband CycleGAN

Joonyoung Song, Jaeheon Jeong+4 more|arXiv (Cornell University)|Feb 23, 2020

Image and Signal Denoising Methods参考文献 30被引用数 8

ひとこと要約

本稿では、波ドメイン分解とサイクル整合性のある敵対的ネットワークを活用して、ペairedのノイズあり・クリーン画像データを必要とせずに、垂直ストライプや波状ノイズなどの構造的ノイズを除去する非教師付きデノイジング手法 WavCycleGAN を提案する。この手法は、PSNR および SSIM において標準の CycleGAN やモデルベース手法を上回り、エッジ やテクスチャなどの高周波成分を保持する。

ABSTRACT

Multi-spectral satellite imaging sensors acquire various spectral band images such as red (R), green (G), blue (B), near-infrared (N), etc. Thanks to the unique spectroscopic property of each spectral band with respective to the objects on the ground, multi-spectral satellite imagery can be used for various geological survey applications. Unfortunately, image artifacts from imaging sensor noises often affect the quality of scenes and have negative impacts on the applications of satellite imagery. Recently, deep learning approaches have been extensively explored for the removal of noises in satellite imagery. Most deep learning denoising methods, however, follow a supervised learning scheme, which requires matched noisy image and clean image pairs that are difficult to collect in real situations. In this paper, we propose a novel unsupervised multispectral denoising method for satellite imagery using wavelet subband cycle-consistent adversarial network (WavCycleGAN). The proposed method is based on unsupervised learning scheme using adversarial loss and cycle-consistency loss to overcome the lack of paired data. Moreover, in contrast to the standard image domain cycleGAN, we introduce a wavelet subband domain learning scheme for effective denoising without sacrificing high frequency components such as edges and detail information. Experimental results for the removal of vertical stripe and wave noises in satellite imaging sensors demonstrate that the proposed method effectively removes noises and preserves important high frequency features of satellite images.

研究の動機と目的

• ペアのノイズあり・クリーン画像データセットが不足しているため、非教師付きマルチスペクトル衛星画像のデノイジングに直面する課題に対処すること。
• エッジ や繊細なテクスチャなどの高周波成分を、標準の画像ドメイン手法でしばしばぼやけてしまうのを防ぐために、デノイジング性能を向上させること。
• 教師ありディープラーニングや従来のモデルベースデノイジングの限界を、非教師付き設定で敵対的学習とサイクル整合性損失を活用することで克服すること。
• 衛星画像に見られる方向性のノイズパターンを、波ドメインでの Cycle-GAN の適用により、より効果的にノイズ成分を分離・除去できるようにすること。

提案手法

• 入力画像を複数の周波数帯に分解するため、波ドメイン分解を用いて、特定の周波数成分におけるノイズ抑制を可能にする。
• ペアデータが不要な状態で、ノイズありからクリーン画像分布へのマッピングを学習するために、波ドメインでサイクル整合性のある敵対的ネットワーク（CycleGAN）を適用する。
• 生成されたリアルなデノイズド出力を得るために敵対的損失を用い、モード崩壊を低減するために、再構成画像が元の分布に戻せるようサイクル整合性損失を確保する。
• 波ドメイン分解により、特に垂直ストライプや波状パターンのような方向性ノイズ成分が分離され、エッジなどの高周波成分のエネルギーが保持される。
• 教師なし事前学習を可能にするために、合成ノイズデータとモデルベースでデノイズされた画像を、クリーンデータの代理として使用する。
• 最終的なデノイジングは、逆波ドメイン変換を用いてデノイズされた帯域から画像を再構成することで実行される。

実験結果

リサーチクエスチョン

• RQ1 ペアのノイズあり・クリーン画像データセットを必要とせずに、非教師付きディープラーニング手法がマルチスペクトル衛星画像を効果的にデノイズできるか？
• RQ2 標準の画像ドメインでの CycleGAN と比較して、波ドメインでの学習が、特に高周波成分の詳細を保持する上でデノイジング性能を向上させるか？
• RQ3 波ドメインでのサイクル整合性のある敵対的学習が、垂直ストライプや波状ノイズなどの構造的ノイズパターンを効果的に抑制し、アーティファクトを避けることができるか？
• RQ4 PSNR および SSIM において、提案手法 WavCycleGAN が従来のモデルベースデノイジングおよび標準の CycleGAN と定量的に比較してどのように異なるか？
• RQ5 クリーンなペアデータが利用できない状況で、波ドメインでの非教師付き学習が、教師ありベースラインを上回ることができるか？

主な発見

• 垂直ストライプノイズ除去において、WavCycleGAN は平均 PSNR 66.17 dB、SSIM 0.99988 を達成し、CycleGAN（63.36 dB、0.99977）およびモデルベース手法（63.11 dB、0.99961）を上回った。
• 波状ノイズにおいて、WavCycleGAN は平均 PSNR 57.32 dB、SSIM 0.99752 を達成し、CycleGAN（56.55 dB、0.99789）およびモデルベース手法（53.67 dB、0.99639）を上回った。
• 視覚的評価では、WavCycleGAN は繊細なディテールやエッジを保持していたのに対し、モデルベース手法は特に雲が複雑なシーンでぼやけた出力を示した。
• アーティファクトや構造的特徴の歪みを引き起こさずに、垂直ストライプや波状ノイズなどの方向性ノイズパターンを効果的に除去できた。
• モデルベースの結果をクリーンデータの代理として使用しても、WavCycleGAN はモデルベース手法自体よりも優れた性能を達成しており、ペアマッチングではなく分布マッチングの利点を示した。
• 垂直ストライプおよび波状ノイズの両状況において、WavCycleGAN はすべてのテストシーンで最高の PSNR および SSIM を一貫して達成し、そのロバストネスと優位性を確認した。