[論文レビュー] Generative Single Image Reflection Separation

Dong‐Hoon Lee, Ming–Hsuan Yang+1 more|arXiv (Cornell University)|Jan 12, 2018

Advanced Image Processing Techniques参考文献 21被引用数 11

ひとこと要約

本稿では、ぼやけた反射画像を仮定せず、真値ペアを必要としない弱教師付きの生成的敵対ネットワーク（GAN）ベースの手法を提案する。この手法は、既知のシーンカテゴリを活用して、透過的および反射的シーンを生成する。本手法は、合成データおよび実際のデータにおいて、反射の分離において最先端の性能を達成しており、特に現実的な反射シーンの回復に優れている。

ABSTRACT

Single image reflection separation is an ill-posed problem since two scenes, a transmitted scene and a reflected scene, need to be inferred from a single observation. To make the problem tractable, in this work we assume that categories of two scenes are known. It allows us to address the problem by generating both scenes that belong to the categories while their contents are constrained to match with the observed image. A novel network architecture is proposed to render realistic images of both scenes based on adversarial learning. The network can be trained in a weakly supervised manner, i.e., it learns to separate an observed image without corresponding ground truth images of transmission and reflection scenes which are difficult to collect in practice. Experimental results on real and synthetic datasets demonstrate that the proposed algorithm performs favorably against existing methods.

研究の動機と目的

• 透過的および反射的シーンの既知のカテゴリを仮定することで、単一画像の反射分離の不適切な性質に対処すること。
• 現代のカメラが深い被写界深度を持つため、ぼやけた反射シーンを仮定するような不切実な仮定に依存しないこと。
• 透過的および反射的シーンの真値ペアを必要とせず、カテゴリラベルのみを用いて学習を可能にすること。
• 敵対的学習を用いて、透過的および反射的シーンを同時に生成することで、分離品質および反射シーンの妥当性を向上させること。
• 従来の手法が非一様または見えない反射領域のため失敗する実世界の画像において、有効性を示すこと。

提案手法

• 生成器が、既知のシーンカテゴリを条件として、透過的および反射的シーンを生成する条件付きGANフレームワークを採用する。
• 透過的および反射的シーンの両方のための識別器を用いて、敵対的学習を実施し、現実的な画像生成を保証する。
• 透過的および反射的シーンの真値ペアを必要とせず、カテゴリラベルのみを用いて弱教師付きでネットワークを学習する。
• 観測画像をピクセルレベルの線形ブレンドではなく、特徴量レベルの組み合わせとしてモデル化することで、より柔軟で現実的な再構成を可能にする。
• ネットワークの透過的シーン予測に対する確信度を可視化するための信頼度マップを導入し、解釈性を向上させる。
• 多様な反射パターンにわたる一般化を向上させるために、ランダムな合成パラメータを用いたデータ拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 現代のカメラ条件において、ぼやけた反射シーンを仮定しないで、単一画像の反射分離を効果的に解けるか？
• RQ2 シーンカテゴリラベルのみが利用可能な状況で、生成モデルが現実的な透過的および反射的シーンをどれほど正確に生成できるか？
• RQ3 真値ペアが入手不可である実世界の画像に対して、提案手法の弱教師付きアプローチはどれほど一般化できるか？
• RQ4 透過的シーンの一部が反射によって覆い隠されている場合でも、ネットワークが両方のシーンを意味的に回復できるか？
• RQ5 合成データおよび実データにおいて、最先端の手法と比較して、本モデルは現実的な反射シーンの生成においてどれほど優れた性能を示すか？

主な発見

• 提案手法は、合成データおよび実際の画像において、反射の分離において既存の最先端手法を上回り、特に現実的な反射シーンの生成において優れた性能を示している。
• 合成データでは、真値画像を一切使用せずに、弱教師付き学習のもとで反射を効果的に分離できており、強い一般化性能を示している。
• 実画像では、透過的シーンが部分的に覆い隠されていても、本手法は現実的な透過的および反射的シーンを生成できる。一方、従来の手法はこのような領域を回復できず失敗する。
• 信頼度マップから、ネットワークは構造的内容が明確な領域で最も確信を持って予測していることが示され、情報量の多い領域での信頼性が高いことがわかる。
• 同じ入力に対して異なるランダムシードを用いることで、複数の妥当な分離結果を生成できることから、観測結果に整合する多様な解を探索できる能力が示された。
• 合成データでは優れた性能を示しているが、非現実的な合成モデルを用いると実画像では依然として困難を示しており、トレーニングデータの現実性が一般化に極めて重要であることが示された。