[論文レビュー] Trinity of Pixel Enhancement: a Joint Solution for Demosaicking, Denoising and Super-Resolution.

Guocheng Qian, Jinjin Gu+4 more|arXiv (Cornell University)|May 7, 2019

Advanced Image Processing Techniques参考文献 36被引用数 30

ひとこと要約

本稿では、新しいパイプライン順序とエンド・トゥ・エンド学習を用いて、デモザイキング、ノイズ除去、スーパーレゾリューションを同時に処理する共同学習ベースの手法、Trinity Enhancement Network (TENet) を提案する。実験により、TENet は定量的指標および視覚的品質の両面で既存手法を上回り、高精細な学習に不可欠な新しい PixelShift200 データセットの存在が裏付けられている。

ABSTRACT

Demosaicing, denoising and super-resolution (SR) are of practical importance in digital image processing and have been studied independently in the passed decades. Despite the recent improvement of learning-based image processing methods in image quality, there lacks enough analysis into their interactions and characteristics under a realistic setting of the mixture problem of demosaicing, denoising and SR. In existing solutions, these tasks are simply combined to obtain a high-resolution image from a low-resolution raw mosaic image, resulting in a performance drop of the final image quality. In this paper, we first rethink the mixture problem from a holistic perspective and then propose the Trinity Enhancement Network (TENet), a specially designed learning-based method for the mixture problem, which adopts a novel image processing pipeline order and a joint learning strategy. In order to obtain the correct color sampling for training, we also contribute a new dataset namely PixelShift200, which consists of high-quality full color sampled real-world images using the advanced pixel shift technique. Experiments demonstrate that our TENet is superior to existing solutions in both quantitative and qualitative perspective. Our experiments also show the necessity of the proposed PixelShift200 dataset.

研究の動機と目的

• 実世界の画像処理における、従来の独立的または逐次的手法の限界を解決すること。
• 単一のパイプラインにこれらのタスクを単純に組み合わせた場合に生じる性能劣化の原因を特定すること。
• すべての3つのタスクを同時に最適化する包括的で統合的な共同学習フレームワークを提案し、画像品質の向上を図ること。
• 共同モデルの正確な学習を支援する高品質な実世界データセット、PixelShift200 を開発すること。
• 提案されたデータセットおよびネットワークアーキテクチャが、現実の画像強化シナリオにおいて実際に必要不可欠であることを実証すること。

提案手法

• デモザイキング、ノイズ除去、スーパーレゾリューションを統合した一貫性のあるエンド・トゥ・エンドで学習可能なフレームワークに適した、画期的な画像処理パイプライン順序を設計する。
• 共有表現と相互監視を活用することで、ネットワークがすべての3つのタスクを同時に最適化できる共同学習戦略を導入する。
• 高度なピクセルシフト技術を用いて撮影された高解像度でフルカラーの画像を含む PixelShift200 データセットを活用し、正確な教師データを提供する。
• ペアドされた低解像度のRAWモザイク入力とそれに対応する高品質なフルカラー出力に基づいて、Trinity Enhancement Network (TENet) を学習する。
• スキップ接続とマルチスケール特徴量学習を備えた深層ニューラルネットワークアーキテクチャを採用し、微細なディテールの保持とアーチファクトの低減を図る。
• タスクの共同最適化目的に特化したデータオーグメンテーションおよび損失関数を適用し、リアルさの向上を図るための知覚的および敵対的損失を含む。

実験結果

リサーチクエスチョン

• RQ1 デモザイキング、ノイズ除去、スーパーレゾリューションの共同最適化は、逐次的または独立的処理と比較して、最終的な画像品質においてどの程度優れているか？
• RQ2 パイプライン順序およびアーキテクチャ設計が、マルチタスク画像強化の性能に与える影響は何か？
• RQ3 学習データの品質と現実性が、深層学習ベースの画像強化モデルの性能にどの程度影響を及えるか？
• RQ4 1つの統合ネットワークが、専用または段階的なモデルと比較して、すべての3つのタスクにおいて優れた結果を達成できるか？
• RQ5 提案された PixelShift200 データセットは、既存のデータセットと比較して、学習の忠実度とモデルの汎化性能をどの程度向上させるか？

主な発見

• Trinity Enhancement Network (TENet) は、デモザイキング、ノイズ除去、スーパーレゾリューションの各タスクにおいて、定量的指標および視覚的品質の両面で最先端の性能を達成した。
• 共同学習戦略により、3つのタスクを段階的に処理するか独立して処理する手法と比較して、最終的な画像品質が顕著に向上した。
• 提案された PixelShift200 データセットは、高精細な学習を達成するために不可欠であり、標準的なデータセットを用いた実験では性能劣化が確認された。
• 共同最適化と高品質な学習データのおかげで、TENet は特にテクスチャが豊富で低照度な領域において、優れた汎化性能とディテール保持能力を示した。
• TENet が採用する画期的なパイプライン順序により、従来の逐次処理と比較して、より優れた特徴量学習と誤差蓄積の低減が達成された。
• 定量的評価では、複数のベンチマークデータセットにおいてPSNRとSSIMの両方で一貫した向上が確認され、共同アプローチの有効性が裏付けられた。