[論文レビュー] Connecting Image Denoising and High-Level Vision Tasks via Deep Learning

Ding Liu, Bihan Wen+4 more|arXiv (Cornell University)|Sep 6, 2018

Image and Signal Denoising Methods参考文献 44被引用数 20

ひとこと要約

本論文は、分類およびセグメンテーションネットワークからの意味的ガイダンスを用いて、画像のノイズ除去とハイレベルビジョンタスクを統合する共同ディープラーニングフレームワークを提案する。再帰的バックプロパゲーションをノイズ除去器のみに適用する共同損失を用いてキャスケードネットワークを訓練することで、複数のノイズレベルにおいて最先端のノイズ除去性能を達成するとともに、分類およびセグメンテーションの精度を向上させ、微調整なしにさまざまなハイレベルタスクに一般化する。

ABSTRACT

Image denoising and high-level vision tasks are usually handled independently in the conventional practice of computer vision, and their connection is fragile. In this paper, we cope with the two jointly and explore the mutual influence between them with the focus on two questions, namely (1) how image denoising can help improving high-level vision tasks, and (2) how the semantic information from high-level vision tasks can be used to guide image denoising. First for image denoising we propose a convolutional neural network in which convolutions are conducted in various spatial resolutions via downsampling and upsampling operations in order to fuse and exploit contextual information on different scales. Second we propose a deep neural network solution that cascades two modules for image denoising and various high-level tasks, respectively, and use the joint loss for updating only the denoising network via back-propagation. We experimentally show that on one hand, the proposed denoiser has the generality to overcome the performance degradation of different high-level vision tasks. On the other hand, with the guidance of high-level vision information, the denoising network produces more visually appealing results. Extensive experiments demonstrate the benefit of exploiting image semantics simultaneously for image denoising and high-level vision tasks via deep learning. The code is available online: https://github.com/Ding-Liu/DeepDenoising

研究の動機と目的

• 低レベルの画像ノイズ除去とハイレベルビジョンタスク（分類およびセマンティックセグメンテーションなど）の相互作用を調査すること。
• 従来のノイズ除去手法が、特にハイレベルタスクの前処理として使用される場合に、画像の詳細を損なったりアーチファクトを生じさせたりするという限界を解決すること。
• ハイレベルタスクの監視を活用して意味的特徴を保持するノイズ除去器を開発することで、視覚的品質とタスクパフォーマンスの両方を向上させること。
• 再トレーニングや微調整なしに、さまざまなハイレベルビジョンタスクに一般化可能なノイズ除去器を実現すること。

提案手法

• ダウンサンプリングとアップサンプリングを用いて空間的解像度間の特徴を統合するマルチスケール畳み込みニューラルネットワークを、U-Netアーキテクチャを参考に開発した画像ノイズ除去用に提案する。
• ノイズ除去モジュールがハイレベルビジョンネットワーク（例：分類にはVGG、セグメンテーションにはFCN）に接続されたキャスケードネットワークを設計する。
• 画像再構成（MSE）、知覚的損失（特徴レベル）、およびハイレベルタスク損失（例：分類には交差エントロピー、セグメンテーションにはIoU）を含む共同学習戦略を実装する。
• 勾配をノイズ除去ネットワークのみにバックプロパゲートすることで、ハイレベルネットワークを固定し、タスク固有の特徴を保持するとともに一般化を確保する。
• 同じノイズ除去器をさまざまなハイレベルタスク（例：セグメンテーションで学習し、分類で展開）に適用することで、タスク間の転送可能性を実証する。
• 合成ガウスノイズ（BSD100、DIV2K）および実際のノイズ（DNDデータセット）の両方で性能を検証し、CBM3DおよびDnCNNと比較する。

実験結果

リサーチクエスチョン

• RQ1 ハイレベルの意味的情報は、画像ノイズ除去の品質と耐性をどのように向上させることができるか？
• RQ2 意味的ガイダンスで学習されたノイズ除去器は、微調整なしにさまざまなハイレベルビジョンタスクに一般化可能か？
• RQ3 ノイズ除去とハイレベルタスクの共同学習は、独立した処理と比較して、低レベルおよびハイレベルタスクの両方のパフォーマンスを向上させるか？
• RQ4 従来のノイズ除去器（例：CBM3D）は、前処理として使用される場合、ハイレベルビジョン性能にどのような影響を与えるか？
• RQ5 共同損失で学習されたデータ駆動型ノイズ除去器は、合成ガウスノイズを超えて実世界のノイズにも一般化可能か？

主な発見

• 提案された共同学習手法は、ベンチマークデータセットで最先端のノイズ除去性能を達成し、PSNRおよび視覚的品質の両面でCBM3DおよびDnCNNを上回った。
• ImageNet検証セット（σ=15）において、Joint Training法は分類タスクで60.41%のトップ-1精度を達成し、ベースラインVGG（56.78%）および別個のノイズ除去ベースライン（55.29%）を顕著に上回った。
• PASCAL VOC2012におけるセマンティックセグメンテーション（σ=30）では、Joint Training法が平均IoU 56.30を達成し、別個のノイズ除去ベースライン（54.13）およびベースラインVGG（43.43）を上回った。
• 分類タスクに適用するためのセグメンテーションで学習したノイズ除去器を用いる「Joint Training（Cross-Task）」アプローチでは、トップ-1精度が60.47%に達し、分類専用にトレーニングされたモデルと同等の性能を示した。
• 実際のノイズを含むDNDデータセットでは、CBM3DおよびDnCNNが過剰に平滑化するアーチファクトを生じるのに対し、本手法はエッジや高周波数成分をより多く保持した。
• 共同損失で学習したノイズ除去器はタスク間で一般化可能である：微調整なしにセグメンテーションから分類タスクに転送しても高い性能を維持し、強力なタスク間適用性を示した。