[論文レビュー] Polarized Reflection Removal with Perfect Alignment in the Wild

Chenyang Lei, Xuhua Huang+4 more|arXiv (Cornell University)|Mar 28, 2020

Image Enhancement Techniques参考文献 33被引用数 11

ひとこと要約

本論文は、実世界の設定において混合画像と透過画像の間で完全なアライメントを達成するための新規なM-Rデータ収集パイプラインを活用した偏光ベースの反射除去手法を提案する。2段階のディープラーニングフレームワークに、知覚的NCC（PNCC）損失を組み合わせることで、合成データおよび実世界ベンチマークの両方で最先端の手法を上回り、特に鋭い反射や多様なガラス種別を扱う際に制限的な仮定を必要としない点で優れている。

ABSTRACT

We present a novel formulation to removing reflection from polarized images in the wild. We first identify the misalignment issues of existing reflection removal datasets where the collected reflection-free images are not perfectly aligned with input mixed images due to glass refraction. Then we build a new dataset with more than 100 types of glass in which obtained transmission images are perfectly aligned with input mixed images. Second, capitalizing on the special relationship between reflection and polarized light, we propose a polarized reflection removal model with a two-stage architecture. In addition, we design a novel perceptual NCC loss that can improve the performance of reflection removal and general image decomposition tasks. We conduct extensive experiments, and results suggest that our model outperforms state-of-the-art methods on reflection removal.

研究の動機と目的

• ガラスの屈折による既存の反射除去データセットにおける背景画像と透過画像の間のアライメントずれという重要な問題に対処すること。
• ぼやけた反射やゴーストの手がかりに依存する従来手法の制限を克服すること。
• 物理的に正確でデータ効率の良いパイプラインを用いて、完全なアライメントを実現する実世界の偏光反射データ収集手法を開発すること。
• 偏光の手がかりを用いた一般化可能で仮定のないディープラーニングフレームワークを提案すること。
• 画像分解タスクの性能を向上させるために、知覚的NCC（PNCC）損失を導入すること。

提案手法

• 混合（M）と反射（R）画像を直接撮影するM-Rデータ収集パイプラインを提案し、RAWセンサースペースでT = M - Rとして透過（T）画像を計算することで、完全なアライメントを保証する。
• 2段階のディープラーニングフレームワークを設計：まず反射（R）を推定し、その後推定されたRから透過（T）を推論する。
• 複数のレベルで反射と透過の特徴間の相関を最小化する新しい知覚的NCC（PNCC）損失を導入し、分解品質を向上させる。
• 光の偏光状態や反射のぼやけ具合に関する仮定を必要としない、偏光データ（I₁, I₂, I₃, I₄, ρ, φ）を入力として利用する。
• TがMとRから導出される物理的に忠実な画像形成モデルを採用することで、背景画像のアライメントずれを回避する。
• 100種類以上の実世界のガラスを含む新規データセットを用いて検証し、多様性とアライメントの正確性を保証する。

実験結果

リサーチクエスチョン

• RQ1 新規なデータ収集パイプラインを用いることで、実世界の反射除去データセットにおいて混合画像と透過画像の間で完全なアライメントを達成できるか？
• RQ2 2段階の学習フレームワークと組み合わせた偏光情報が、反射除去性能にどのように寄与するか？
• RQ3 従来の損失関数（例：除外損失）と比較して、提案されたPNCC損失はどの程度分解性能を向上させるか？
• RQ4 ぼやけた反射やゴーストの手がかりを仮定しない手法が、多様なガラス種別や反射の外観に対して一般化可能か？
• RQ5 反射の外観に関する制限的な仮定を排除することで、困難な実世界のケースにおいてより高いロバスト性が得られるか？

主な発見

• 提案手法は合成データおよび実世界ベンチマークの両方で最先端の性能を達成し、透過画像に関してPSNRが34.62、SSIMが0.936を記録し、先行手法を上回っている。
• アブレーションスタディの結果、偏光入力を用いることで性能が最も向上し、非偏光入力と比較してPSNRが2.7 dB以上向上した。
• 2段階の設計により、単一段階のベースラインと比較してPSNRが0.8 dB向上し、特徴抽出の有効性が示された。
• ハイパーパramータチューニングなしでも、DoubleDIPで用いられる除外損失と比較して、PNCC損失はPSNRで3.9 dBも優れていた。
• 曲面ガラスや先行研究の非理想的なデータに対しても、最小限のアーティファクトと残留反射なしに良好な一般化性能を示した。
• ぼやけた反射を仮定しないにもかかわらず、鋭い反射を効果的に除去できており、このような状況で失敗する他の手法を上回った。