[論文レビュー] Integrating Disparate Sources of Experts for Robust Image Denoising.

Joon Hee Choi, Omar A. Elgendy+1 more|arXiv (Cornell University)|Nov 17, 2017

Image and Signal Denoising Methods参考文献 61被引用数 4

ひとこと要約

本稿では、複数の画像ノイズ除去手法（従来型およびニューラルネットワークベース）を最初に線形結合で統合し、その後ブースターとなるニューラルネットワークで結果を精錬するモジュラーなメタフレームワーク、ConsensusNetを提案する。この手法は、多様なノイズ除去手法において一貫して性能を向上させ、方法特有のノイズを低減し、複雑なシーンにおける耐性を高める。

ABSTRACT

We study an image denoising problem: Given a set of image denoisers, each having a different denoising capability, can we design a framework that allows us to integrate the individual denoisers to produce an overall better result? If we can do so, then potentially we can integrate multiple weak denoisers to denoise complex scenes. The goal of this paper is to present a meta-procedure called the Consensus Neural Network (ConsensusNet). Given a set of initial denoisers, ConsensusNet takes the initial estimates and generates a linear combination of the results. The combined estimate is then fed to a booster neural network to reduce the amount of method noise. ConsensusNet is a modular framework that allows any image denoiser to be used in the initial stage. Experimental results show that ConsensusNet can consistently improve denoising performance for both deterministic denoisers and neural network denoisers.

研究の動機と目的

• 複数の能力が異なる画像ノイズ除去手法を統合し、統一的で改善されたノイズ除去ソリューションを構築する挑戦に応えること。
• 既存の任意のノイズ除去手法をアーキテクチャの変更なしに統合可能なモジュラーなフレームワークを設計すること。
• 個々のノイズ除去手法が引き起こす残存する方法特有のノイズを、学習された精錬プロセスにより低減すること。
• 複数の弱いノイズ除去手法の長所を活かすことで、複雑な現実世界のシーンにおけるノイズ除去性能を向上させること。

提案手法

• ConsensusNetは、ベースノイズ除去手法群の初期ノイズ除去出力を入力として受ける。
• 個々のノイズ除去手法の出力を学習可能な線形結合により統合し、コンSENSUS推定値を生成する。
• 統合された推定値は、残存する方法特有のノイズを低減するため、ブースターとなるニューラルネットワークを通過する。
• ブースターネットワークは、ノイズのある画像パッチの再構成誤差を最小化するように、エンドツーエンドで訓練される。
• フレームワークはモジュラーであり、初期段階で任意の事前学習済みノイズ除去手法を即座に統合可能である。
• 最終出力は、アーチファクトが低減され、構造的忠実度が向上した高品質なノイズ除去画像である。

実験結果

リサーチクエスチョン

• RQ1 メタフレームワークは、複数の弱いノイズ除去手法を効果的に統合し、個々のノイズ除去手法よりも優れた性能を達成できるか？
• RQ2 ノイズ除去手法出力の線形結合は、個々のノイズ除去結果と比較して、ノイズ低減およびアーチファクト抑制の観点でどのように異なるか？
• RQ3 ブースターとなるニューラルネットワークは、コンセンサス出力内の方法特有のノイズをどの程度低減できるか？
• RQ4 このフレームワークは、決定論的およびディープラーニングベースの手法を含む、さまざまな種類のノイズ除去手法に一般化可能か？

主な発見

• ConsensusNetは、従来型およびディープラーニングベースの両方のベースラインノイズ除去手法において、広範囲にわたって一貫して性能を向上させる。
• 線形結合ステージは、多様なノイズ除去手法の補完的長所を効果的に集約し、総合的な再構成誤差を低減する。
• ブースターとなるニューラルネットワークは、残存する方法特有のノイズを顕著に低減し、よりシャープで自然な見た目のノイズ除去画像を実現する。
• フレームワークは、高ノイズレベルの複雑なシーンにおいても耐性を示し、個々のノイズ除去手法がしばしば失敗する状況でも有効である。
• 実験結果では、個々のノイズ除去手法および単純な平均化手法よりも明確なPSNRおよびSSIMの向上が観察された。
• モジュラー設計により、システム全体の再学習なしに新しいノイズ除去手法の統合がスムーズに可能である。