[論文レビュー] When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach

Ding Liu, Bihan Wen+3 more|arXiv (Cornell University)|Jun 14, 2017

Image and Signal Denoising Methods参考文献 33被引用数 25

ひとこと要約

本稿では、ノイズ除去ネットワークとハイレベルビジョンネットワークを段階的に接続し、統合損失関数を用いて同時に学習することで、画像のノイズ除去とハイレベルビジョンタスク（例：分類やセマンティックセグメンテーション）を同時に最適化する共同ディーブラーニングフレームワークを提案する。この手法は、セマンティックフィードバックを活用することで、ノイズ除去の品質と下流タスクの精度の両方を向上させ、微調整を必要とせずにさまざまなハイレベルタスクに一般化可能な訓練済みノイズ除去器を実現する。

ABSTRACT

Conventionally, image denoising and high-level vision tasks are handled separately in computer vision. In this paper, we cope with the two jointly and explore the mutual influence between them. First we propose a convolutional neural network for image denoising which achieves the state-of-the-art performance. Second we propose a deep neural network solution that cascades two modules for image denoising and various high-level tasks, respectively, and use the joint loss for updating only the denoising network via back-propagation. We demonstrate that on one hand, the proposed denoiser has the generality to overcome the performance degradation of different high-level vision tasks. On the other hand, with the guidance of high-level vision information, the denoising network can generate more visually appealing results. To the best of our knowledge, this is the first work investigating the benefit of exploiting image semantics simultaneously for image denoising and high-level vision tasks via deep learning. The code is available online https://github.com/Ding-Liu/DeepDenoising.

研究の動機と目的

• 低レベルの画像ノイズ除去とハイレベルビジョンタスクの間のギャップを埋めるために、両者の相互影響を調査すること。
• 従来のパイプラインがノイズ除去とハイレベルタスクを別々の段階として扱うため、性能が低下するという限界を是正すること。
• タスク固有の微調整を必要とせずに、複数のハイレベルビジョンタスクに一般化可能なノイズ除去器を開発すること。
• ハイレベルのセマンティックフィードバックをノイズ除去プロセスに組み込むことで、視覚的品質とセマンティック正確性を向上させること。
• 共同学習が、独立または逐次処理よりもノイズ除去性能とハイレベルタスクの精度を向上させることを示すこと。

提案手法

• 入力の詳細を保持するためのスキップ接続を備えたU-Netに類似した畳み込みニューラルネットワークを、画像ノイズ除去用に提案する。
• ノイズ除去ネットワークをハイレベルビジョンネットワーク（例：分類やセグメンテーション用）に接続したカスケードアーキテクチャを設計する。
• 画像再構成損失（MSE）とハイレベルタスク損失（例：分類の場合は交差エントロピー、セグメンテーションの場合はIoU）を組み合わせた統合損失関数を用いる。
• 勾配逆伝播はノイズ除去ネットワークにのみ適用し、学習中にハイレベルネットワークの重みは固定する。
• ハイレベルタスクからのセマンティックガイダンスを活用して、より視覚的に自然で意味的に整合性のある出力を生成するようにノイズ除去ネットワークを訓練する。
• 異なるハイレベルタスク（例：セグメンテーションで学習し、分類でテスト）への転送によって、ノイズ除去器の一般化能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 ハイレベルのセマンティック情報は、画像ノイズ除去結果の視覚的品質と知覚的忠実度を向上させることができるか？
• RQ2 ノイズ除去とハイレベルビジョンタスクを共同で学習することで、逐次的または独立した処理と比較して、両タスクの性能が向上するか？
• RQ3 あるハイレベルタスクで学習したノイズ除去器は、微調整なしに他のハイレベルタスクに効果的に再利用可能か？
• RQ4 共同学習戦略は、古典的ノイズ除去器（例：CBM3D）が下流のビジョンタスクに導入するアーティファクトをどのように軽減するか？
• RQ5 セマンティックフィードバックは、ノイズがかかる入力に対してハイレベルビジョンモデルのロバスト性と正確性をどの程度向上させるか？

主な発見

• 提案された共同学習フレームワークは、古典的手法（例：CBM3D）や独立して学習されたディープノイズ除去器と比較して、画像ノイズ除去の分野で最先端の性能を達成した。
• ImageNet検証セットにおいて、σ=60の条件下で87.2%のトップ-1精度を達成し、ベースラインのVGG（11.4%）およびSeparate+VGG（50.1%）を顕著に上回った。
• Pascal VOC 2012におけるセマンティックセグメンテーションでは、σ=60の条件下で52.02%のmIoUを達成し、分離型ノイズ除去ベースライン（46.59%）を上回り、ノイズレベルにわたるロバスト性を示した。
• 1つのハイレベルタスクで共同学習したノイズ除去器は、他のタスクへも効果的に一般化可能である：セグメンテーションで学習し分類タスクに転送した場合、62.0%のトップ-1精度を達成（Separate+VGGの57.0%と比較して）し、優れた転送性を示した。
• 視覚的比較では、本手法が過剰に平滑化されるアーティファクトを低減し、CBM3D や独立して学習されたノイズ除去器と比較して、より意味的に正確で視覚的に魅力的なノイズ除去出力を得ていることが明らかになった。
• アブレーションスタディにより、セマンティックフィードバックがノイズ除去品質と下流タスクの正確性を顕著に向上させることを確認し、共同学習アーキテクチャの有効性を裏付けた。