[論文レビュー] A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing

Qingnan Fan, Jiaolong Yang+3 more|arXiv (Cornell University)|Aug 11, 2017

Image Enhancement Techniques参考文献 5被引用数 25

ひとこと要約

本稿では、段階的な畳み込みニューラルネットワーク（CNN）を用いてエッジマップを予測し、そのエッジを用いて画像を再構築することで、反射の除去と画像の滑らかさ向上を同時に行う汎用的な深層学習アーキテクチャであるCEILNetを提案する。本手法は、手動で設計されたコンponentsを一切用いずに、合成された反射データを用いた弱教師付き学習戦略を採用することで、両タスクにおいて最先端の性能を達成する。

ABSTRACT

This paper proposes a deep neural network structure that exploits edge information in addressing representative low-level vision tasks such as layer separation and image filtering. Unlike most other deep learning strategies applied in this context, our approach tackles these challenging problems by estimating edges and reconstructing images using only cascaded convolutional layers arranged such that no handcrafted or application-specific image-processing components are required. We apply the resulting transferrable pipeline to two different problem domains that are both sensitive to edges, namely, single image reflection removal and image smoothing. For the former, using a mild reflection smoothness assumption and a novel synthetic data generation method that acts as a type of weak supervision, our network is able to solve much more difficult reflection cases that cannot be handled by previous methods. For the latter, we also exceed the state-of-the-art quantitative and qualitative results by wide margins. In all cases, the proposed framework is simple, fast, and easy to transfer across disparate domains.

研究の動機と目的

• 実世界の訓練データが限られているため、困難な低レベルビジョンタスクである単一画像の反射除去に挑戦する。
• 多様なエッジに敏感な画像処理タスクに一般化可能な汎用的な深層学習フレームワークを開発する。
• 反射除去のための教師データが不足している問題を、合成された反射を用いた弱教師付き学習戦略を導入することで克服する。
• 複数の既存フィルタを一括してエンドツーエンドに近似することで、画像滑らかさの分野で最先端の性能を達成する。
• 手動で設計された画像処理モジュールに依存しない、エンドツーエンドで訓練可能なパイプラインを構築するために、畳み込み層のスタックのみを用いる。

提案手法

• 段階的な2段階のネットワークを設計：まず、隣接ピクセル間の色の違いとしてエッジマップを予測する深層教師付きCNNを用い、次に予測されたエッジを用いてターゲット画像を再構築する。
• アプリケーション固有のコンponentsや手動で設計されたコンponentsを一切使用せず、標準的な畳み込み層のみを用いることで、シンプルさと移植性を実現する。
• 反射除去ブランチの訓練には、物理的反射特性を模倣する新しい合成データ生成法を採用し、弱教師付き学習としての役割を果たす。
• 反射層が背景層よりも滑らかであるという仮定を活用し、エッジ予測と再構築をガイドする。
• エッジ予測と画像再構築の両ステージを統合的に最適化するエンドツーエンドの教師付き学習により、合成データ上でネットワークを訓練する。
• フィルタリング済み画像で再訓練することで、同じアーキテクチャを画像滑らかさに応用し、L0、L1、RTV、RGF、WLSフィルタの近似を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の入力やユーザーのアノテーションを必要としない汎用的な深層学習アーキテクチャが、単一画像の反射除去を効果的に解決できるか？
• RQ2 実際の教師データが入手できない状況下で、反射除去のための深層ネットワークをどのように効果的に訓練できるか？
• RQ3 1つのエッジに敏感なアーキテクチャが、反射除去や画像滑らかさなど多様な低レベルビジョンタスクに一般化できるか？
• RQ4 段階的なエッジと画像学習フレームワークは、定量的および定性的な指標において、既存手法をどれほど上回ることができるか？
• RQ5 物理的反射モデルを組み込んだ合成データを用いることで、実世界の反射ケースへの頑健な一般化が可能になるか？

主な発見

• CEILNetは、L0、L1、RTV、RGF、WLSフィルタ近似において、PSNRと視覚的品質の両面で、以前の手法を上回る最先端の性能を達成した。
• L0滑らかさベンチマークでは、'building'セットで38.04 dB、'ruins'で37.39 dB、'grasslands'で37.10 dBのPSNR値を達成し、Xuら[11]およびLiuら[6]を上回った。
• 反射除去のタスクにおいて、エッジ監視なしのCEILNet-naïveおよびI-CNNよりも顕著に優れた性能を示し、強い非一様な反射を伴う複雑な実世界ケースでも顕著に優位性を示した。
• 教師データが存在しない状況下でも、博物館のガラス越しや飛行機の窓越しの実世界画像においても、反射を効果的に除去し、視覚的にクリアな背景再構築を実現した。
• 合成データ生成法により、実際の反射に一般化可能な弱教師付き学習が可能となり、実際の訓練データが存在しない状況下でも効果的に学習が可能であった。
• CEILNetは優れた転送性を示した：同じアーキテクチャと訓練パラダイムを、反射除去と画像滑らかさの両タスクに最小限の変更で適用し、成功した。