[論文レビュー] Deep Class Aware Denoising

Tal Remez, Or Litany+2 more|arXiv (Cornell University)|Jan 6, 2017

Image and Signal Denoising Methods参考文献 52被引用数 7

ひとこと要約

本稿では、顔や花などの特定の意味的画像クラスで畳み込みニューラルネットワーク（DenoiseNet）をファインチューニングすることで、画像のノイズ除去性能を向上させるクラスに依存する深層ノイズ除去フレームワークを提案する。事前学習済みの画像分類器を活用し、クラスごとにデノイザーを適応させることで、クラスに依存しないベースラインと比較して最大0.4 dBのPSNR向上を達成した。これは、意味的認識が再構成品質を顕著に向上させることを示している。

ABSTRACT

The increasing demand for high image quality in mobile devices brings forth the need for better computational enhancement techniques, and image denoising in particular. At the same time, the images captured by these devices can be categorized into a small set of semantic classes. However simple, this observation has not been exploited in image denoising until now. In this paper, we demonstrate how the reconstruction quality improves when a denoiser is aware of the type of content in the image. To this end, we first propose a new fully convolutional deep neural network architecture which is simple yet powerful as it achieves state-of-the-art performance even without being class-aware. We further show that a significant boost in performance of up to $0.4$ dB PSNR can be achieved by making our network class-aware, namely, by fine-tuning it for images belonging to a specific semantic class. Relying on the hugely successful existing image classifiers, this research advocates for using a class-aware approach in all image enhancement tasks.

研究の動機と目的

• モバイル写真において一般的に見られる意味的コンテンツクラスが、画像ノイズ除去の分野では活用されていないというギャップを解消すること。
• 特定の意味的画像クラスにデノイザーをカスタマイズすることで、ノイズ除去性能の向上が可能かどうかを調査すること。
• 一般用途のデノイザーをクラス固有のデータでファインチューニングすることで、顕著な性能向上が得られることを示すこと。
• 市販の画像分類器を用いてクラスに依存する画像強化の実現可能性を検討すること。
• 最先端の画像分類器が高ノイズ下でも依然として頑健であることを検証し、デノイジングのための信頼できるクラス割り当てを可能にすること。

提案手法

• 意味的認識なしでも最先端の性能を達成する強力なベースラインとして、完全畳み込み型の深層ニューラルネットワーク（DenoiseNet）を提案する。
• 特定の意味的クラス（例：顔、花）からの画像を用いて、クラス固有の学習データでネットワークをファインチューニングする。
• 事前学習済みの画像分類器（例：ResNet）を用いて、入力画像に意味的ラベルを割り当て、クラスに依存する適応を可能にする。
• デノイジング処理は段階的である：各層がノイズの一部を推定・除去し、浅い層は平坦領域を処理し、深い層はエッジやテクスチャに注目する。
• 層ごとのノイズ推定を可視化し、深い層がエッジや輪郭の回復に寄与していることを示している。
• 各ピクセルの値がデノイジング中にどの層で最も変化するかを特定するため、層ごとの寄与度マップを生成する。

実験結果

リサーチクエスチョン

• RQ1 意味的クラス情報を取り入れることで、画像ノイズ除去の性能を向上させることができるか？
• RQ2 一般用途のデノイザーをクラス固有のデータでファインチューニングすることで、PSNRおよび視覚的品質がどの程度向上するか？
• RQ3 ネットワークで観察された段階的ノイズ除去動作は、効果的なノイズ除去の既知の原則と整合しているか？
• RQ4 異なるネットワーク層は、意味的クラスに応じてノイズ推定と画像再構成にどのように寄与しているか？
• RQ5 市販の画像分類器を信頼できる方法で、クラスに依存するデノイジングの目的で意味的クラスを割り当てるために使用できるか？

主な発見

• クラス固有のデータでデノイザーをファインチューニングすることで、クラスに依存しないベースラインと比較して最大0.4 dBのPSNR向上が顕著に得られた。
• クラスに依存するデノイザーは視覚的に優れた結果を生み出し、特に複雑なテクスチャや顔の特徴において、一般用途のデノイザーが引き起こす一般的なアーティファクトを低減した。
• デノイジング処理は本質的に段階的である：ノイズは層を介して順次除去され、浅い層は平坦領域を処理し、深い層はエッジや輪郭に注目する。
• 単調な誤差低減を明示的に目的としていないにもかかわらず、すべてのテスト画像において、層の深さが増すにつれて再構成誤差が一貫して減少した。
• ほとんどのピクセルにおいて、最初の数層がデノイジングプロセスを支配しており、深い層はエッジやテクスチャを精緻に修正しており、階層的処理戦略が採用されていることが示された。
• ネットワーク内部の層ごとのノイズ推定は、明確な役割分担を示しており、初期層は局所的ノイズを検出し、深い層はグローバルな構造的パターンを捉えている。