[論文レビュー] Learning Hybrid Sparsity Prior for Image Restoration: Where Deep Learning Meets Sparse Coding

Wu, Fangfang, Weisheng Dong+2 more|arXiv (Cornell University)|Jul 18, 2018

Advanced Image Processing Techniques参考文献 5被引用数 4

ひとこと要約

本稿では、深層畳み込みニューラルネットワーク（DCNN）から学習された外部プライアーや、構造的解析ス parser コーディング（SASC）を用いて入力の劣化画像から推定される内部プライアリーを組み合わせることで、画像復元のためのハイブリッドスパarsityプライアリーを提案する。この手法は、大規模なトレーニングデータと画像の内在的構造の両方を活用し、ノイズ除去およびスーパーレゾリューションタスクにおいて最先端の性能を達成する。

ABSTRACT

State-of-the-art approaches toward image restoration can be classified into model-based and learning-based. The former - best represented by sparse coding techniques - strive to exploit intrinsic prior knowledge about the unknown high-resolution images; while the latter - popularized by recently developed deep learning techniques - leverage external image prior from some training dataset. It is natural to explore their middle ground and pursue a hybrid image prior capable of achieving the best in both worlds. In this paper, we propose a systematic approach of achieving this goal called Structured Analysis Sparse Coding (SASC). Specifically, a structured sparse prior is learned from extrinsic training data via a deep convolutional neural network (in a similar way to previous learning-based approaches); meantime another structured sparse prior is internally estimated from the input observation image (similar to previous model-based approaches). Two structured sparse priors will then be combined to produce a hybrid prior incorporating the knowledge from both domains. To manage the computational complexity, we have developed a novel framework of implementing hybrid structured sparse coding processes by deep convolutional neural networks. Experimental results show that the proposed hybrid image restoration method performs comparably with and often better than the current state-of-the-art techniques.

研究の動機と目的

• 学習ベースまたはモデルベースの画像復元手法の限界を克服するため、外部プライアリーと内部プライアリーを統合する。
• 構造的スパースコーディングとディープラーニングを統合する原理的フレームワークを構築する。
• ハイブリッドスパースコーディングの計算複雑性を低減するため、ディープネットワークベースの実装を設計する。
• トレーニングデータに存在しないテクスチャやパターンを含む困難な画像の復元性能を向上させる。

提案手法

• 大規模なトレーニングデータセットから、ディープ畳み込みニューラルネットワークを用いて外部構造的スパースプライアリーを学習する。
• 自己類似性とスパース表現を用いて、入力の劣化画像から直接内部構造的スパースプライアリーを推定する。
• 2つの構造的スパースプライアリーを統合し、外部データと内部画像構造の両方の知識を統合したハイブリッドプライアリーを構築する。
• ハイブリッド構造的スパースコーディング処理を効率的に実装するための新規ディープネットワークフレームワークを設計する。
• スパース制約を学習された変換領域で画像パッチをモデル化するため、構造的分析スパースコーディング（SASC）の定式化を用いる。
• 拡張されたLR/HRパッチペアを用いて、スーパーレゾリューションタスクにおける異なるスケーリング要因に対応する別々のネットワークをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 外部ディープラーニングプライアリーと内部スパースコーディングプライアリーを組み合わせることで、画像復元性能が向上するか？
• RQ2 トレーニングデータと画像の内在的構造を活用できるように、ハイブリッドプライアリーを体系的に構築する方法は何か？
• RQ3 内部プライアリーを統合することで、トレーニングデータに存在しない希少なテクスチャを復元する際の影響は何か？
• RQ4 精度を損なわずに、ハイブリッド構造的スパースコーディングをディープネットワークで効率的に実装できるか？
• RQ5 提案手法は、ノイズ除去およびスーパーレゾリューションにおいて、最先端の学習ベースおよびモデルベースの手法を上回るか？

主な発見

• Set10の「barbara」画像におけるノイズ除去タスクで、PSNRが27.73 dBを達成し、EPLL（25.70 dB）とIR-CNN（27.38 dB）を上回った。
• Set5におけるスケーリング要因3のスーパーレゾリューションで、PSNRが35.56 dBを達成し、SRCNN（35.25 dB）、VDSR（35.38 dB）、DRCN（35.50 dB）を上回った。
• Urban100データセットにおけるスケーリング要因4のタスクで、PSNRが25.33 dBを達成し、TNRD（24.52 dB）、SRCNN（24.52 dB）、VDSR（25.14 dB）、DRCN（24.94 dB）を上回った。
• 視覚的結果から、特にテキストや細かいパターンのような困難な領域において、細かいテクスチャやエッジの保存が顕著に優れていることが示された。
• ハイブリッドプライアリー枠組みは、分布シフトに対して頑健であり、トレーニングデータに存在しない希少なテクスチャを含む画像においても、純粋に学習ベースの手法よりも優れた性能を示した。
• SASCのネットワークベース実装により、高い復元精度を維持しながら、計算を効率化することができた。