[論文レビュー] Unsupervised Single-Image Reflection Separation Using Perceptual Deep Image Priors

Su Hong Kim, Hamed RahmaniKhezri+2 more|arXiv (Cornell University)|Sep 1, 2020

Image Enhancement Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、Perceptual Deep Image Priors (Perceptual DIP) を用いた、教師なし単一画像の反射分離手法を初めて提案する。2つの相互接続された深層ネットワークが共同で最適化され、学習データを一切用いずに背景層と反射層に分離する。事前学習済み分類器からのセマンティック特徴を埋め込み、クロスフィードバックとバランスパラメータ α を用いたマルチロス最適化を実施することで、ラベル付きデータや反射特性に関する仮定を必要とせず、実画像および合成画像において最先端の性能を達成した。

ABSTRACT

Reflections often degrade the quality of the image by obstructing the background scene. This is not desirable for everyday users, and it negatively impacts the performance of multimedia applications that process images with reflections. Most current methods for removing reflections utilize supervised-learning models. However, these models require an extensive number of image pairs to perform well, especially on natural images with reflection, which is difficult to achieve in practice. In this paper, we propose a novel unsupervised framework for single-image reflection separation. Instead of learning from a large dataset, we optimize the parameters of two cross-coupled deep convolutional networks on a target image to generate two exclusive background and reflection layers. In particular, we design a new architecture of the network to embed semantic features extracted from a pre-trained deep classification network, which gives more meaningful separation similar to human perception. Quantitative and qualitative results on commonly used datasets in the literature show that our method's performance is at least on par with the state-of-the-art supervised methods and, occasionally, better without requiring large training datasets. Our results also show that our method significantly outperforms the closest unsupervised method in the literature for removing reflections from single images.

研究の動機と目的

• 大規模なラベル付きデータセットや追加の仮定に依存せずに、単一画像の反射分離を解決すること。
• 高レベルのセマンティック情報を統合することで、より人間の知覚に即した分離を実現する手法の開発。
• ペaired 学習データを必要としない、知覚的および構造的プライオリティに基づく教師なし最適化フレームワークを用いて、学習データの必要性を排除すること。
• 繰り返し実行時の安定性および弱い反射ケースにおける分離の整合性を向上させること。

提案手法

• 事前学習済み画像分類ネットワークの特徴マップを生成器ネットワークに統合することで、高レベルのセマンティック特徴を埋め込む、新規アーキテクチャ「Perceptual DIP」を提案する。
• 背景と反射層の両方を共同で最適化するため、相互に接続された2つの Perceptual DIP ネットワークを採用し、フィードバック機構により分離品質を向上させる。
• 各ネットワークに役割（背景または反射）を割り当てるバランスパラメータ α を導入することで、学習の安定化と劣化の低減を図り、特に弱い反射に対して有効である。
• 再構成損失、除外損失、クロスフィードバック損失、正則化損失を含むマルチロス最適化方式を採用し、分解プロセスをガイドする。
• 事前学習済みネットワークの特徴を用いた知覚損失を適用し、生成された層の構造的およびセマンティック的一致性を確保する。
• ネットワークのパラメータを、事前学習や微調整を一切行わず、ネットワークアーキテクチャと損失関数のインダクティブバイアスにのみ依存して、入力画像上で直接最適化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き学習データが一切ない状態でも、教師なしで反射分離を効果的に実現できるか？
• RQ2 低レベルの画像プライオリティに加えて、高レベルのセマンティックプライオリティを組み込むことで、反射分離の知覚的品質が向上するか？
• RQ3 背景と反射ネットワーク間の相互最適化により、分離のロバスト性が向上し、曖昧性が低減するか？
• RQ4 バランスパラメータ α が最適化を安定化させ、弱い反射状況下での退化解の発生を防げるか？
• RQ5 本手法は、実画像および合成画像において、教師ありおよび教師なしの最先端手法と比較して、定量的および定性的にどのように優れているか？

主な発見

• 本手法は、学習データが一切ないにもかかわらず、実画像および合成画像の両方で最先端の教師あり手法と同等またはそれ以上の性能を達成した。
• 本手法は、追加の入力画像を必要とする最近の教師なしベースライン（Gandelsman et al., 2019）を顕著に上回り、単一の入力画像での処理が可能である。
• バランスパラメータ α（0.1 に設定）の導入により、特に弱い反射に対して、複数回の実行における出力の一貫性が向上し、学習の安定化が達成された。
• クロスフィードバック機構により、勾配情報が反射層に疎である場合でも、収束速度とロバスト性が向上した。
• 再構成損失、除外損失、クロスフィードバック損失、正則化損失の全損失組み合わせが最良の結果をもたらし、色や形状の明確な分離が実現され、部分的な損失組み合わせに比べてアーチファクトが減少した。
• アブレーションスタディにより、再構成損失が不可欠であり、除外損失およびクロスフィードバック損失の追加がコンテンツ分離と構造的忠実性の両面で顕著に向上することが確認された。