[論文レビュー] Learning Dual Convolutional Neural Networks for Low-Level Vision

Jinshan Pan, Sifei Liu+9 more|arXiv (Cornell University)|May 14, 2018

Image Enhancement Techniques参考文献 30被引用数 26

ひとこと要約

本稿では、低レベルビジョンタスクにおける画像構造と詳細の同時学習を可能にする二重ブランチ畳み込みニューラルネットワーク、DualCNNを提案する。構造と詳細の推定を二つの並列ブランチに分離することで、超解像、雨除去、霞まし除去、エッジ保持フィルタリングの各ベンチマークで、一貫した向上を達成し、最先端の手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a general dual convolutional neural network (DualCNN) for low-level vision problems, e.g., super-resolution, edge-preserving filtering, deraining and dehazing. These problems usually involve the estimation of two components of the target signals: structures and details. Motivated by this, our proposed DualCNN consists of two parallel branches, which respectively recovers the structures and details in an end-to-end manner. The recovered structures and details can generate the target signals according to the formation model for each particular application. The DualCNN is a flexible framework for low-level vision tasks and can be easily incorporated into existing CNNs. Experimental results show that the DualCNN can be effectively applied to numerous low-level vision tasks with favorable performance against the state-of-the-art methods.

研究の動機と目的

• アップサンプリングにおける構造的誤差が補正できない残留学習の限界を解消する。
• 一つのネットワークで低周波数の構造と高周波数の詳細を同時に学習する課題を克服する。
• タスク固有のアーキテクチャ再設計を必要とせず、多様な低レベルビジョンタスクに適用可能な柔軟でエンドツーエンドで学習可能なフレームワークを開発する。
• 構造と詳細の分解を明示的にモデル化することで、超解像、雨除去、霞まし除去、フィルタリングの性能を向上させる。
• 初期構造に不完全さがある場合でも、構造と詳細の共同学習が残留学習単体よりも優れた結果をもたらすことを示す。

提案手法

• 構造推定用の浅いサブネットワーク（Net-S）と詳細推定用の深いサブネットワーク（Net-D）を備えた二重ブランチCNNアーキテクチャを提案する。
• 構造（ℒs）と詳細（ℒd）の成分に別々の正則化項を含む組み合わせ損失関数を用いて、両ブランチをエンドツーエンドで学習する。
• 各タスク固有のフォーメーションモデルを用いて、回復された構造と詳細の成分の和として最終出力を再構築する。
• Net-SとNet-Dで異なるネットワークアーキテクチャを許容することで、アーキテクチャの柔軟性を実現する（例：Net-SとNet-DにそれぞれSRCNNやVDSRを適用可能）。
• 構造を最初に推定し、その後に詳細を精緻化する段階的アーキテクチャのバリエーションも検討したが、並列型の二重ブランチ設計が優れた性能を示した。
• タスク固有のフォーメーションモデルを用いて、超解像、雨除去、霞まし除去、エッジ保持フィルタリングなど複数のタスクに本フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 構造と詳細の学習を分離する二重ブランチCNNアーキテクチャは、低レベルビジョンタスクにおいて標準的な残留学習を上回ることができるか？
• RQ2 初期構造（例：バイキューブアップサンプリングによるもの）に低周波数の誤差を含む場合、構造と詳細の共同推定が性能向上に寄与するか？
• RQ3 二つのブランチにおけるネットワークアーキテクチャの選択が性能に与える影響は何か、特に一方が浅く他方が深い場合に顕著か？
• RQ4 DualCNNフレームワークは、アーキテクチャの再設計なしに多様な低レベルビジョンタスクに効果的に適用可能か？
• RQ5 構造と詳細の成分に別々の正則化を含む二重構成損失関数が最終的な性能に与える影響は何か？

主な発見

• 超解像タスクにおいて、Set5の×4拡大でPSNR 30.3690を達成し、SRCNN（30.1496）とVDSRを上回る最先端の性能を発揮する。
• 雨除去タスクにおいて、合成降雨データセットでPSNR 24.11を達成し、両ブランチが同一のSDDCNN-S（22.42）とSDCNN-D（23.58）を上回る。
• 別々の正則化損失ℒsとℒdの追加により、はっきりとした性能向上が得られ、平均PSNRが21.13から26.43に、SSIMが0.7449から0.9108に向上した。
• 並列型二重ブランチ設計は、SRCNNやVDSRと同程度の収束性を示しており、二つのブランチを有するにもかかわらず顕著な学習不安定性を示さない。
• 構造を最初に推定し、その後に詳細を精緻化する段階的アーキテクチャは、並列型DualCNNに比べて劣る結果を示し、共同学習の利点を裏付けた。
• 両ブランチに同一のアーキテクチャ（例：SRCNN）を適用しても、DualCNNは単一ブランチバージョンを上回る性能を示しており、同じ構成であっても二重パス学習の利点が確認された。