[論文レビュー] Semantic Guided Single Image Reflection Removal

Yunfei Liu, Yu Li+2 more|arXiv (Cornell University)|Jul 27, 2019

Image Enhancement Techniques参考文献 30被引用数 7

ひとこと要約

本稿では、高レベルのオブジェクト意味をガイドとして活用することで、単一画像の反射除去とセマンティックセグメンテーションを同時に実行するマルチタスク深層学習フレームワーク、Semantic Guided Reflection Removal Network (SGR2N) を提案する。反射分離とセマンティックヒントを統合することで、困難な反射条件下でも背景の明瞭さとセマンティック精度の両方で最先端の性能を達成した。

ABSTRACT

Reflection is common in images capturing scenes behind a glass window, which is not only a disturbance visually but also influence the performance of other computer vision algorithms. Single image reflection removal is an ill-posed problem because the color at each pixel needs to be separated into two values, i.e., the desired clear background and the reflection. To solve it, existing methods propose priors such as smoothness, color consistency. However, the low-level priors are not reliable in complex scenes, for instance, when capturing a real outdoor scene through a window, both the foreground and background contain both smooth and sharp area and a variety of color. In this paper, inspired by the fact that human can separate the two layers easily by recognizing the objects, we use the object semantic as guidance to force the same semantic object belong to the same layer. Extensive experiments on different datasets show that adding the semantic information offers a significant improvement to reflection separation. We also demonstrate the applications of the proposed method to other computer vision tasks.

研究の動機と目的

• 低レベルの事前知識に依存するのではなく、高レベルの意味情報を組み込むことで、単一画像の反射除去の不適切な定式化を緩和すること。
• 背景／反射分離とセマンティックセグメンテーションを共同で学習させることで、反射除去の性能を向上させること。
• 実世界のシナリオにおいて、意味理解が反射除去の精度と頑健性を向上させることを示すこと。
• 反射除去がオブジェクト検出などの下流ビジョンタスクの前処理として有効であることを検証すること。

提案手法

• 反射除去とセマンティックセグメンテーションの両方を同時に最適化するエンドツーエンドのマルチタスク深層学習フレームワークを設計した。
• セマンティックガイドブロックが、反射除去ネットワークからの特徴表現とセマンティック特徴マップを明示的に融合し、層分離をガイドする。
• 空間的詳細を両タスクに保持するために、スキップ接続を備えたエンコーダデコーダアーキテクチャを採用した。
• 背景の強度が反射よりも強いという仮定を活用し、背景の意味情報をガイドとしてより信頼性の高いものとする。
• 損失関数には、反射除去のための標準再構成損失と、セマンティックセグメンテーションのための交差エントロピー損失を含め、トレーニング中に共同最適化した。
• 共同最適化を可能にするために、実際の反射画像とアノテート済みセマンティックマスクを含むデータセットでモデルを学習した。

実験結果

リサーチクエスチョン

• RQ1 低レベルの事前知識と比較して、高レベルの意味的ヒントが単一画像の反射除去の精度と頑健性を向上させるか？
• RQ2 セマンティックセグメンテーションと反射除去を共同で学習することで、両タスクの性能がどのように向上するか？
• RQ3 反射除去がオブジェクト検出のような下流コンピュータビジョンタスクにどれほど向上効果をもたらすか？
• RQ4 反射の強度が変動し、複雑なシーン条件下でも本手法はどの程度の性能を示すか？

主な発見

• 提案された SGR2N は、3つのベンチマークデータセットにおいて、反射除去（PSNR）とセマンティックセグメンテーション（mIoU）の両面で最先端の性能を達成した。
• 反射強度が変動する画像においても、SGR2N は高い性能を維持し、反射強度が 0.5 未満であっても mIoU の低下はわずかであった。
• 反射強度が 0.5 を超えると、セマンティック精度が低下するが、SGR2N は ZN18 や IBCLN などのベースライン手法を上回った。
• YOLO-v3 を用いたオブジェクト検出実験では、反射が混入した画像の mAP はクリーンな背景と比較して 12.42% 減少したが、反射除去後に顕著に向上した。
• SGR2N が生成した反射除去出力では、mAP が 42.83% に達し、他の手法を上回り、クリーンなベースラインに近づいた。
• 視覚的結果から、SGR2N は特に強い反射を伴う複雑なシーンでも、より明瞭な背景とより明確に分離された反射層を生成することがわかった。