[論文レビュー] CRRN: Multi-Scale Guided Concurrent Reflection Removal Network

Renjie Wan, Boxin Shi+3 more|arXiv (Cornell University)|May 30, 2018

Image Enhancement Techniques参考文献 18被引用数 9

ひとこと要約

本稿では、マルチスケールのガイド付き特徴統合と知覚に配慮した損失関数を用いて、反射除去のための背景画像と勾配を同時に推論する並列ディープラーニングフレームワーク、CRRNを提案する。3,250枚の実世界データセットで学習させたCRRNは、定量的指標および視覚的品質の両面で最先端手法を上回り、特に微細なディテールの保持とぼかしの低減において優れた性能を示す。

ABSTRACT

Removing the undesired reflections from images taken through the glass is of broad application to various computer vision tasks. Non-learning based methods utilize different handcrafted priors such as the separable sparse gradients caused by different levels of blurs, which often fail due to their limited description capability to the properties of real-world reflections. In this paper, we propose the Concurrent Reflection Removal Network (CRRN) to tackle this problem in a unified framework. Our proposed network integrates image appearance information and multi-scale gradient information with human perception inspired loss function, and is trained on a new dataset with 3250 reflection images taken under diverse real-world scenes. Extensive experiments on a public benchmark dataset show that the proposed method performs favorably against state-of-the-art methods.

研究の動機と目的

• 実世界の反射状況ではしばしば失敗する、手作業で設計された事前知識に依存する非学習ベースの手法の限界を解消すること。
• 勾配と画像を別々に推定する二段階的アーキテクチャに起因するマルチスケール特徴の活用制限を克服すること。
• 合成データではなく大規模な実世界の反射データセットで学習させることで、一般化性能とディテール保持性能を向上させること。
• ピクセル単位の損失関数に基づくネットワークで一般的に見られるぼかしアーチファクトを低減するため、知覚に配慮した損失関数を導入すること。

提案手法

• CRRNは、背景推定用の画像推論ネットワーク（IiN）と勾配予測用の勾配推論ネットワーク（GiN）を有する統合的かつ並列的なアーキテクチャを採用する。
• IiNは、対応する解像度におけるGiNからのマルチスケール勾配特徴によってガイドされ、外観とエッジ情報の両方を同時に最適化可能となる。
• マルチスケールガイド付き推論モジュールにより、異なるスケール間の特徴を統合することで特徴表現を強化し、ディテール回復を向上させる。
• ぼかしを抑制し視覚的品質を向上させるために、知覚に配慮した損失関数が使用され、標準的なL1/L2損失関数の代替または補完として機能する。
• 本稿では、多様なシーンで撮影された3,250枚の実世界の反射画像から構成される新規なデータセットを用いてネットワークを学習させ、実世界の変動に強い性能を実現している。

実験結果

リサーチクエスチョン

• RQ1 画像と勾配の推論を同時に最適化する並列ディープラーニングフレームワークは、従来の二段階的アプローチを上回る反射除去性能を達成できるか？
• RQ2 マルチスケールガイド付き特徴統合は、単一スケールまたはガイドなしの手法と比較して、反射除去におけるディテール保持性能をどのように向上させるか？
• RQ3 知覚に配慮した損失関数は、標準的なL1/L2損失関数と比較して、ぼかしアーチファクトをどの程度低減できるか？
• RQ4 大規模な実世界データセットで学習させることで、未観測の複雑な反射シナリオへの一般化性能が顕著に向上するか？

主な発見

• SIR2ベンチマークにおいて、CRRNはSSIM 0.895、SI 0.925を達成し、定量的および定性的な評価の両面で最先端手法を上回った。
• アブレーションスタディの結果、GiNサブネットワークを削除するとSSIMが0.867に低下し、画像ディテールの保持において勾配ガイドの重要性が明確に示された。
• 知覚に配慮した損失関数はぼかしアーチファクトを顕著に低減しており、L1損失のみを用いた場合（SSIM: 0.883）と比較して、CRRN全体の性能（SSIM: 0.895）が顕著に優れていることが裏付けられた。
• 全体像が反射で覆われる極端なケースに対しても、CRRNは多数の反射を除去でき、他の競合手法と比較して背景ディテールの保持が顕著に優れていた。
• 異なる機器（FY17 [7]）の未観測データでもCRRNは強力な性能を維持しており、学習分布を超えた一般化能力を示している。