[論文レビュー] Segmentation-Aware Image Denoising without Knowing True Segmentation

Sicheng Wang, Bihan Wen+3 more|arXiv (Cornell University)|May 22, 2019

Image and Signal Denoising Methods参考文献 52被引用数 15

ひとこと要約

本稿では、訓練時に真のセグメンテーションマップを必要とせずに、下流のセマンティックセグメンテーションの品質と耐性を向上させる、新しい非教師ありセグメンテーション認識型画像ノイズ除去モデルU-SAIDを提案する。画素単位の不確実性損失を導入することで特徴の識別的学習を促進し、U-SAIDは教師あり手法と同等の性能を達成するとともに、未学習の画像、データセット、および高レベルのビジョンタスクへも効果的に一般化する。

ABSTRACT

Several recent works discussed application-driven image restoration neural networks, which are capable of not only removing noise in images but also preserving their semantic-aware details, making them suitable for various high-level computer vision tasks as the pre-processing step. However, such approaches require extra annotations for their high-level vision tasks, in order to train the joint pipeline using hybrid losses. The availability of those annotations is yet often limited to a few image sets, potentially restricting the general applicability of these methods to denoising more unseen and unannotated images. Motivated by that, we propose a segmentation-aware image denoising model dubbed U-SAID, based on a novel unsupervised approach with a pixel-wise uncertainty loss. U-SAID does not need any ground-truth segmentation map, and thus can be applied to any image dataset. It generates denoised images with comparable or even better quality, and the denoised results show stronger robustness for subsequent semantic segmentation tasks, when compared to either its supervised counterpart or classical "application-agnostic" denoisers. Moreover, we demonstrate the superior generalizability of U-SAID in three-folds, by plugging its "universal" denoiser without fine-tuning: (1) denoising unseen types of images; (2) denoising as pre-processing for segmenting unseen noisy images; and (3) denoising for unseen high-level tasks. Extensive experiments demonstrate the effectiveness, robustness and generalizability of the proposed U-SAID over various popular image sets.

研究の動機と目的

• 既存のアプリケーション指向ノイズ除去モデルが訓練に高価な真のセグメンテーションアノテーションを必要としているという制限を解消すること。
• 微調整なしで未学習の画像タイプ、データセット、および高レベルのビジョンタスクへ一般化可能なユニバーサルノイズ除去モデルを開発すること。
• 教師ありセマンティック監視に依存せずに、ノイズ除去の耐性とセマンティックディテールの保持を向上させること。
• 最小限の再トレーニングで多様な高レベルビジョンパイプラインに即座に統合可能なプラグアンドプレイ型ノイズ除去器を実現すること。

提案手法

• ノイズ除去特徴空間における画素単位の不確実性に基づく新しい非教師あり損失を提案し、間接的にセグメンテーション認識性を促進する。
• セグメンテーションアノテーションを一切使用せず、ノイズあり画像のみを用いて、不確実性最小化による自己教師学習を活用してノイズ除去器を訓練する。
• 標準的なノイズ除去目的関数（例：L2損失）と不確実性損失を統合し、画像忠実性とセマンティックの識別可能性を同時に最適化する。
• 事前学習済みのセマンティックセグメンテーションヘッドを用いてノイズ除去出力からの特徴を抽出し、それらを不確実性損失の計算に使用する。
• ノイズ除去器と不確実性損失を一括して端末から端末まで最適化できる二重ブランチネットワークアーキテクチャを採用する。
• 訓練済みのU-SAIDモデルを、追加の微調整なしに下流タスク用のプレプロセッサとして即座に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 真のセグメンテーションアノテーションが一切ない状況でも、セグメンテーション認識型ノイズ除去器を訓練可能か？
• RQ2 提示された非教師あり不確実性損失は、監視なしにおいてもセマンティック認識特徴の学習を効果的に促進するか？
• RQ3 U-SAIDは、教師ありまたはアプリケーションに依存しないベースラインと比較して、未学習の画像ドメイン、データセット、および高レベルビジョンタスクへどのように一般化するか？
• RQ4 U-SAIDは、教師あり手法と同等の性能を達成しつつ、耐性と普遍性を維持できるか？

主な発見

• PASCAL VOCセグメンテーションにおいて、U-SAIDは平均mIoU 40.35%を達成し、CDnCNN-B（p値 = 1.7305×10⁻⁹）よりも統計的に有意に優れている。また、教師ありS-SAID手法と同等の性能を示した。
• KODAKデータセットでは、U-SAIDはNIQE 2.62を達成し、CDnCNN-B（p値 = 2.6638×10⁻¹⁶）よりも統計的に有意に優れた性能を示した。
• CIFAR-100分類タスクでは、U-SAIDはトップ1精度58.47%を達成し、CDnCNN-B（56.89%、p値 = 3.6147×10⁻¹⁴）およびS-SAID（57.82%、p値 = 1.3486×10⁻⁶）を有意に上回った。
• MS COCOオブジェクト検出タスクでは、σ=35の条件下でmAPが0.5330向上し、CDnCNN-BおよびS-SAIDを上回り、未学習の検出タスクへの強力な一般化性能を示した。
• U-SAIDは、未学習の画像タイプ、未学習のノイズデータセット、および未学習の高レベルタスクの3つのテストシナリオにおいて、微調整なしで優れた一般化性能を示した。
• 統計的有意性検定により、U-SAIDの性能向上は複数のベンチマークおよびノイズパターンにおいて一貫的かつ意味のあるものであることが確認された。