[論文レビュー] Single-Image Lens Flare Removal.

Yicheng Wu, Qiurui He+5 more|arXiv (Cornell University)|Nov 25, 2020

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本稿では、実験的および波動光学シミュレーションを用いてレンズフレアをモデル化する、新規の準合成パイプラインを提案する。このデータを用いて、深層ニューラルネットワークを訓練し、フレア除去を実現した。その結果、最先端手法よりも3dBのPSNR向上を達成し、多様なデバイスからの実世界のフレアに対しても良好な一般化性能を示した。

ABSTRACT

Lens flare is a common artifact in photographs occurring when the camera is pointed at a strong light source. It is caused by either multiple reflections within the lens or scattering due to scratches or dust on the lens, and may appear in a wide variety of patterns: halos, streaks, color bleeding, haze, etc. The diversity in its appearance makes flare removal extremely challenging. Existing software methods make strong assumptions about the artifacts' geometry or brightness, and thus only handle a small subset of flares. We take a principled approach to explicitly model the optical causes of flare, which leads to a novel semi-synthetic pipeline for generating flare-corrupted images from both empirical and wave-optics-simulated lens flares. Using the semi-synthetic data generated by this pipeline, we build a neural network to remove lens flare. Experiments show that our model generalizes well to real lens flares captured by different devices, and outperforms start-of-the-art methods by 3dB in PSNR.

研究の動機と目的

• 幾何的要因、明るさ、散乱効果によるフレアの外観の多様性に起因する、レンズフレア除去の挑戦に取り組む。
• フレアの幾何的形状や強度に関する強い仮定に依存する既存手法の限界を克服する。
• 内部反射やレンズの不完全性といった光学的要因をモデル化することで、物理的に根拠を持つフレアシミュレーション手法を開発する。
• 実測データと波動光学シミュレーションを組み合わせた、多様なフレアパターンを生成可能な準合成データ生成パイプラインを構築する。
• この合成データを用いて深層ニューラルネットワークを訓練し、異なるデバイスからの実世界のレンズフレアに対し、頑健な一般化性能を達成する。

提案手法

• 波動光学の原則を用いて、複数の反射や散乱効果をシミュレートすることで、レンズフレアの光学的起源をモデル化する。
• 実際のレンズシステムからの実測データを統合し、シミュレートされたフレア特性のキャリブレーションを実施する。
• 実際のレンズパラメータとシミュレートされたフレアパターンを組み合わせることで、データ拡張を目的とした準合成パイプラインを構築する。
• 光源の位置、レンズ素子、表面欠険の変更を用いて、多様で現実的なフレア混入画像を生成する。
• この準合成データセット上で、畳み込みニューラルネットワークをエンドツーエンドに訓練し、フレアなし画像の予測を実現する。
• 合成データの物理的リアリズムを活用することで、実フレアへのゼロショット一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 準合成データ生成パイプラインは、実世界のレンズフレアパターンの多様性を正確にシミュレートできるか？
• RQ2 レンズフレアの物理的要因をモデル化することで、深層学習ベースの除去手法における一般化性能が向上するか？
• RQ3 準合成データで訓練されたモデルは、異なるデバイスで撮影された実際のレンズフレアを効果的に除去できるか？
• RQ4 本手法は、さまざまなフレア条件下で、既存のフレア除去技術と比較してどの程度優れているか？
• RQ5 波動光学と実測データを統合することで、合成学習データのリアリズムと有効性はどの程度向上するか？

主な発見

• 提案された準合成パイプラインは、実世界の観察結果と密接に一致する現実的なレンズフレアパターンを効果的に生成した。
• 準合成データで訓練されたニューラルネットワークは、実世界のフレア除去ベンチマークにおいて、最先端手法よりも3dBのPSNR向上を達成した。
• 本モデルは、微調整なしに、異なるカメラやレンズで撮影された実フレアに対しても、効果的に一般化した。
• 幾何的または強度ベースの仮定に依存する既存の手法とは異なり、本手法は特に複雑なフレアパターンに対して優れた性能を示した。
• 波動光学と実測データの統合により、合成学習データのリアリズムと多様性が顕著に向上した。
• 本手法は、ハロー、ストリーク、色の漏れなどのフレアタイプの変動に対しても、頑健であることが示された。