[論文レビュー] Deep Residual Network for Joint Demosaicing and Super-Resolution

Ruofan Zhou, Radhakrishna Achanta+1 more|arXiv (Cornell University)|Feb 19, 2018

Advanced Image Processing Techniques参考文献 23被引用数 5

ひとこと要約

本論文は、低解像度のベイヤー・モザイクを高解像度カラー画像に直接マッピングするエンドツーエンドの統合的デモザイキングおよびスーパーレゾリューションのためのディープリプルーシブネットワークを提案する。両タスクを同時に最適化することで、逐次処理に起因するアーティファクトを排除し、先行手法と比較して平均PSNRで1.3 dBの向上を達成し、最先端の性能を実現した。

ABSTRACT

In digital photography, two image restoration tasks have been studied extensively and resolved independently: demosaicing and super-resolution. Both these tasks are related to resolution limitations of the camera. Performing super-resolution on a demosaiced images simply exacerbates the artifacts introduced by demosaicing. In this paper, we show that such accumulation of errors can be easily averted by jointly performing demosaicing and super-resolution. To this end, we propose a deep residual network for learning an end-to-end mapping between Bayer images and high-resolution images. By training on high-quality samples, our deep residual demosaicing and super-resolution network is able to recover high-quality super-resolved images from low-resolution Bayer mosaics in a single step without producing the artifacts common to such processing when the two operations are done separately. We perform extensive experiments to show that our deep residual network achieves demosaiced and super-resolved images that are superior to the state-of-the-art both qualitatively and in terms of PSNR and SSIM metrics.

研究の動機と目的

• デモザイキングとスーパーレゾリューションを逐次的に適用する手法は、色のズレやぼやけなど、アーティファクトが蓄積されるため、性能が最適でないことを是正すること。
• デモザイキングとスーパーレゾリューションを統合的に1つのエンドツーエンドのディープラーニングフレームワークに統合し、画像品質を向上させること。
• デモザイキングとスーパーレゾリューションを別々の段階として処理する際の誤差伝搬を排除すること。
• 統合的最適化により、従来の最良の逐次パイプラインと比較して、視覚的品質および定量的指標（PSNR、SSIM）の両面で優れた結果を示すことを実証すること。

提案手法

• 本手法は、RGGBベイヤー・パターンから高解像度カラー画像へのエンドツーエンドのマッピングを学習するため、ディープリプルーシブネットワーク（ResNet）を採用する。
• ネットワークは、ベイヤー・モザイクとそれに対応する高解像度の真値画像の高品質なペairedデータ上で学習される。
• アーキテクチャは、従来のスーパーレゾリューション手法で一般的な明度・彩度の別々の処理を避けるために、3色すべての色チャネルを同時に処理する。
• 最小限の変更で他のCFAパターンにも一般化可能であり、適応にはたった2つの追加レイヤーで十分である。
• 深層ネットワークにおける学習の安定化と特徴の学習改善を図るため、リプルーシブ学習ブロックを採用する。
• 予測された高解像度画像と真値画像との間の再構成誤差を最小化するために、標準的な損失関数（例：L2またはL1）を用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングを用いてデモザイキングとスーパーレゾリューションを統合的に最適化することで、逐次処理に起因するアーティファクトを低減できるか？
• RQ2 エンドツーエンドのディープリプルーシブネットワークは、PSNRおよびSSIMの両指標において、最先端の逐次パイプラインを上回る性能を示せるか？
• RQ3 ネットワークは、最小限のアーキテクチャ的変更で、他のカラーフィルターアレイ（CFA）パターンにも一般化可能か？
• RQ4 分離処理よりも、統合アプローチのほうが計算効率が良いか？
• RQ5 モアレやズレアーティファクトを導入せずに、微細なディテールと色再現性を保持できるか？

主な発見

• 本手法はテストセットにおいて平均31.4093 dBのPSNRを達成し、次善の手法（DemosaicNet + SRCNN）を1.3 dB上回った。
• 本手法は平均SSIM 0.9476を達成し、次善の手法（30.1313 dB PSNR、0.9374 SSIM）と比べて顕著に優れていた。
• 視覚的評価では、色アーティファクトやぼやけがなく、FlexISP + SRCNN や SEM + SRCNN といった逐次的手法と比較して、より優れたディテール回復が確認された。
• Titan X上で1枚の256×256画像あたり619 msで実行可能であり、デモザイキングのみで650 msを要するDemosaicNetよりも高速で、計算効率の高さを示した。
• わずか2つの追加レイヤーで他のCFAパターンにも一般化可能であり、アーキテクチャの柔軟性を示した。
• 統合的アプローチにより、逐次パイプラインでよく見られる色のズレやモアレパターンといったアーティファクトが完全に排除された。