[論文レビュー] On the Relation between Color Image Denoising and Classification

Jiqing Wu, Radu Timofte+2 more|arXiv (Cornell University)|Apr 5, 2017

Image and Signal Denoising Methods参考文献 27被引用数 12

ひとこと要約

この論文は、分類ネットワーク（AlexNet/VGG-16）の特徴を活用することで、色画像のノイズ除去性能を向上させる、新しい深層学習アーキテクチャを提案する。ImageNetの1,000枚を超える大規模データセットを用いて訓練し、分類タスクのクラス情報を統合することで、最先端手法よりも平均PSNRで0.34–0.51 dBの向上を達成した。これは、分類モデルがノイズ除去を向上させられること、また非線形モデルではノイズが分類精度を向上させる場合があることを示している。

ABSTRACT

Large amount of image denoising literature focuses on single channel images and often experimentally validates the proposed methods on tens of images at most. In this paper, we investigate the interaction between denoising and classification on large scale dataset. Inspired by classification models, we propose a novel deep learning architecture for color (multichannel) image denoising and report on thousands of images from ImageNet dataset as well as commonly used imagery. We study the importance of (sufficient) training data, how semantic class information can be traded for improved denoising results. As a result, our method greatly improves PSNR performance by 0.34 - 0.51 dB on average over state-of-the art methods on large scale dataset. We conclude that it is beneficial to incorporate in classification models. On the other hand, we also study how noise affect classification performance. In the end, we come to a number of interesting conclusions, some being counter-intuitive.

研究の動機と目的

• 大規模データセット上での画像のノイズ除去と画像分類の相互作用を調査すること。
• 分類モデルの意味的情報を活用する深層学習ベースのカラー画像ノイズ除去手法を開発すること。
• ノイズが分類性能に与える影響を評価し、ノイズ除去が分類精度をどの程度向上させるかを検証すること。
• 分類モデルを直接画像ノイズ除去に使用できるかどうかを検討し、その有効性を評価すること。

提案手法

• エンドツーエンドのカラー画像ノイズ除去を実現するため、事前学習済み分類ネットワーク（AlexNetまたはVGG-16）と組み合わせた3次元残差（3DR）学習ステージを提案する。
• 色画像を3次元テンソル（H×W×3）として扱うマルチスケール・マルチチャネル特徴学習アプローチを採用し、RGBチャネルを同時に処理可能にする。
• 事前学習済みネットワークの上位層から得られる分類損失と、再構成損失（L2）を組み合わせて、ノイズ除去モデルを訓練する。
• 分類ヘッドからの意味的クラス情報を用いてノイズ除去をガイドすることで、特徴表現の質と再構成の正確性を向上させる。
• 通常の小規模ベンチマークとは大きく異なり、ImageNetの1,000枚を超える多様な画像から構成される大規模データセットを訓練および評価に使用する。
• 下流タスクへの影響を評価するため、ノイズあり・ノイズ除去済・クリアな画像の3種類に対してPSNRと分類精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み画像分類モデルは、深層学習ベースのカラー画像ノイズ除去性能を向上させることができるか？
• RQ2 学習データのスケールがノイズ除去性能に与える影響は何か？大規模データは一般化性能を向上させるか？
• RQ3 分類ネットワークからの意味的クラス情報は、どの程度ノイズ除去結果を向上させるか？
• RQ4 ノイズ除去は、ノイズあり画像における分類精度を向上させるか？もしそうなら、どの程度向上するか？
• RQ5 分類モデルそのものを画像ノイズ除去に直接使用できるか？その性能は、専用のノイズ除去手法と比べてどうか？

主な発見

• 提案された3DR+VGG-16および3DR+AlexNetモデルは、ImageNetデータセット上で最先端手法よりも平均PSNRで0.34–0.51 dBの向上を達成した。
• ノイズ除去は分類精度を顕著に向上させる：σ=25の場合、AlexNetで7.3%、VGG-16で6.9%の精度向上がノイズありベースラインを上回った。
• σ=50の場合、精度向上はAlexNetで22.4%、VGG-16で10.7%に達し、ノイズ除去が下流タスクにおける耐性を高めることを確認した。
• 驚くべきことに、1.4–3.5%のケースでは、分類モデルがノイズあり画像に対してのみ正しく分類しており、ノイズがモデルの信頼性や性能を向上させる場合があることを示した。
• 分類モデルを直接ノイズ除去に使用する（ソフトマックス損失を用いる）と、σ=50の条件下でAlexNetでわずか11.4%の精度にとどまり、回帰損失を用いた教師ありノイズ除去がはるかに有効であることがわかった。