[論文レビュー] W2S: A Joint Denoising and Super-Resolution Dataset

Ruofan Zhou, Majed El Helou+4 more|arXiv (Cornell University)|Mar 12, 2020

Advanced Image Processing Techniques参考文献 48被引用数 6

ひとこと要約

本稿では、144,000枚の実際の蛍光顕微鏡画像を含む新しいデータセットW2Sを紹介する。このデータセットは、共同でのノイズ除去とスーパーレゾリューション（JDSR）を目的としたもので、360組のノイズあり低解像度、ノイズなし低解像度、高解像度画像ペアを含む。既存の最先端のノイズ除去ネットワークとスーパーレゾリューションネットワークを組み合わせても最適な結果が得られないことが示され、代わりに新規のテクスチャ損失関数を備えた軽量で共同学習されたSRネットワークを提案。このネットワークは、分離されたノイズ除去-SRパイプラインをすべて上回る性能を発揮する。

ABSTRACT

Denoising and super-resolution (SR) are fundamental tasks in imaging. These two restoration tasks are well covered in the literature, however, only separately. Given a noisy low-resolution (LR) input image, it is yet unclear what the best approach would be in order to obtain a noise-free high-resolution (HR) image. In order to study joint denoising and super-resolution (JDSR), a dataset containing pairs of noisy LR images and the corresponding HR images is fundamental. We propose such a novel JDSR dataset, Wieldfield2SIM (W2S), acquired using microscopy equipment and techniques. W2S is comprised of 144,000 real fluorescence microscopy images, used to form a total of 360 sets of images. A set is comprised of noisy LR images with different noise levels, a noise-free LR image, and a corresponding high-quality HR image. W2S allows us to benchmark the combinations of 6 denoising methods and 6 SR methods. We show that state-of-the-art SR networks perform very poorly on noisy inputs, with a loss reaching 14dB relative to noise-free inputs. Our evaluation also shows that applying the best denoiser in terms of reconstruction error followed by the best SR method does not yield the best result. The best denoising PSNR can, for instance, come at the expense of a loss in high frequencies, which is detrimental for SR methods. We lastly demonstrate that a light-weight SR network with a novel texture loss, trained specifically for JDSR, outperforms any combination of state-of-the-art deep denoising and SR networks.

研究の動機と目的

• 画像修復の分野において、同時にノイズ除去とスーパーレゾリューション（JDSR）をサポートする実世界のデータセットが不足しているという問題に対処すること。
• ノイズあり低解像度入力に対して逐次適用された最先端のノイズ除去ネットワークとスーパーレゾリューションネットワークの性能制限を調査すること。
• 独立して最良のノイズ除去手法が、その後に続くスーパーレゾリューションの結果を最も良くするとは限らないかを評価すること。
• JDSRに特化した軽量の深層学習モデルをエンドツーエンドで学習させ、従来の逐次パイプラインを上回ることを検証すること。
• 制御されたノイズレベルと高精度の真値高解像度画像を備えた実際の蛍光顕微鏡データを用いて、JDSRのベンチマークを確立すること。

提案手法

• W2Sデータセットは、実際の蛍光顕微鏡撮影システムを用いて構築され、360の異なる画像セットにおいて合計144,000枚の画像が収集された。
• 各セットには、ノイズなし低解像度画像、複数のノイズあり低解像度画像（異なるノイズレベル）、および対応する高解像度の真値画像が含まれる。
• このデータセットにより、6種類のノイズ除去手法と6種類のスーパーレゾリューション手法をすべての組み合わせでベンチマーク可能である。
• 高周波成分の保持がSRに不可欠であることを踏まえ、新規のテクスチャ損失関数を設計し、その損失関数を用いて軽量なスーパーレゾリューションネットワークをエンドツーエンドでJDSRに向け学習した。
• 標準的な指標（PSNRや構造的類似性（SSIM））を用いて、提案された共同モデルの性能を逐次パイプラインと比較した。
• ノイズ除去の正確さと高周波成分の保持のトレードオフを分析するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 最先端のスーパーレゾリューションネットワークは、ノイズなし入力と比較してノイズあり低解像度入力に対してどれほど性能が低下するか？
• RQ2 再構成誤差の観点で最良のノイズ除去手法が、効果的なスーパーレゾリューションに必要な特徴をどれほど損なうか？
• RQ3 ノイズ除去とスーパーレゾリューションを共同で学習する深層学習モデルは、最先端のノイズ除去とSRネットワークを逐次適用するパイプラインを上回る性能を発揮できるか？
• RQ4 ノイズ除去段階での高周波成分の保持が、最終的なスーパーレゾリューション品質に与える影響は？
• RQ5 新規のテクスチャ損失関数は、共同ノイズ除去とスーパーレゾリューションタスクにおける性能向上にどのように寄与するか？

主な発見

• 最先端のスーパーレゾリューションネットワークは、ノイズあり低解像度入力に対してノイズなし入力と比較して最大14 dBのPSNR低下を示した。
• 独立して最良のノイズ除去器でさえ、その後に続くスーパーレゾリューションネットワークに最良の結果をもたらさない。これは、高周波成分の損失に起因する。
• 新規のテクスチャ損失関数を用いてエンドツーエンドで学習された軽量なスーパーレゾリューションネットワークは、分離されたノイズ除去とSRモデルのすべての組み合わせを上回る性能を発揮した。
• ノイズあり入力での性能低下の主な要因は、ノイズ除去段階で高周波成分が抑制されることに起因し、これは効果的なスーパーレゾリューションに不可欠な要素である。
• 提案された共同学習アプローチにより、従来の逐次パイプラインでしばしば失われるテクスチャやエッジ情報が保持され、画像品質が著しく向上した。
• W2Sデータセットにより、制御されたノイズと高品質な真値を備えた実際の顕微鏡データを用いた、一貫性があり再現可能なJDSR手法のベンチマークが可能になった。