[論文レビュー] Flare7K++: Mixing Synthetic and Real Datasets for Nighttime Flare Removal and Beyond

Yuekun Dai, Chongyi Li+4 more|arXiv (Cornell University)|Jun 7, 2023

Image Enhancement Techniques被引用数 7

ひとこと要約

Flare7K++ は、962枚の実際の夜間フレア画像（Flare-R）と7,000枚の合成フレア（Flare7K）を組み合わせた包括的なデータセットを初めて提供し、正確な光源アノテーションを備えたエンドツーエンドの夜間レンズフレア除去を可能にした。提案されたパイプラインは、これらのアノテーションを活用してフレア除去を向上させつつ、現実的な光源を保持するが、複雑な劣化や小さな非過露出フレアに対しても、従来手法を著しく上回る性能を発揮する。

ABSTRACT

Artificial lights commonly leave strong lens flare artifacts on the images captured at night, degrading both the visual quality and performance of vision algorithms. Existing flare removal approaches mainly focus on removing daytime flares and fail in nighttime cases. Nighttime flare removal is challenging due to the unique luminance and spectrum of artificial lights, as well as the diverse patterns and image degradation of the flares. The scarcity of the nighttime flare removal dataset constraints the research on this crucial task. In this paper, we introduce Flare7K++, the first comprehensive nighttime flare removal dataset, consisting of 962 real-captured flare images (Flare-R) and 7,000 synthetic flares (Flare7K). Compared to Flare7K, Flare7K++ is particularly effective in eliminating complicated degradation around the light source, which is intractable by using synthetic flares alone. Besides, the previous flare removal pipeline relies on the manual threshold and blur kernel settings to extract light sources, which may fail when the light sources are tiny or not overexposed. To address this issue, we additionally provide the annotations of light sources in Flare7K++ and propose a new end-to-end pipeline to preserve the light source while removing lens flares. Our dataset and pipeline offer a valuable foundation and benchmark for future investigations into nighttime flare removal studies. Extensive experiments demonstrate that Flare7K++ supplements the diversity of existing flare datasets and pushes the frontier of nighttime flare removal towards real-world scenarios.

研究の動機と目的

• 低照度画像修復分野における進展を妨げる実世界の夜間フレアデータセットの不足に対処すること。
• 過露出でないか、複雑に劣化したフレアに対して失敗する既存のフレア除去手法の限界を克服すること。
• 散乱および反射フレアを除去しながら光源を保持する統合的でエンドツーエンドのパイプラインを開発すること。
• トレーニングおよびベンチマークのための、光源、ストリーク、グレアといったコンponentレベルの豊富なアノテーションを提供すること。
• 実世界の複雑さと多様性を反映した、夜間フレア除去のための新しいベンチマークを確立すること。

提案手法

• 本データセットは、多様なレンズ汚染物質を含む暗室で撮影された962枚の実際のフレア画像（Flare-R）と、物理ベースのモデリングを用いて生成された7,000枚の合成フレア（Flare7K）を統合している。
• Flare7K++ には、シャイマーを含む光源、ストリーク、グレアの詳細なアノテーションが含まれており、コンponent別トレーニングが可能である。
• アノテーションされたコンponentを用いて、フレア除去と光源再構築を同時に最適化するエンドツーエンドのディープラーニングパイプラインを提案する。
• 5,000枚の合成散乱フレアを用いてL1損失で訓練されたU-Netベースの光源抽出ネットワークにより、不自然なアーチファクト（例：「テール」）を回避し、より現実的なグレア効果を実現する。
• フレア除去モデルは、背景、シャイマー付きグレア、ストリーク、光源の順に重み（1.0, 1.0, 2.0, 4.0）を適用した交差エントロピー損失を用いる。
• データオーグメンテーションおよびトレーニングプロトコル（SGDにポリナミアル減衰、光源モデルにはAdam）を適用し、ロバストネスと収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 合成データと実データの組み合わせが、夜間レンズフレア除去モデルの一般化性能と現実性を向上させるか？
• RQ2 コンponentレベルのアノテーションを用いたエンドツーエンド学習は、フレア除去と同時に光源をどれほど正確に保持できるか？
• RQ3 光源アノテーションは、フレア除去における「テール」アーチファクトやストリークの過剰抽出をどれほど低減するか？
• RQ4 提案されたパイプラインは、しきい値ベースの手法よりも、非過露出・微小・複雑に劣化したフレアを効果的に処理できるか？
• RQ5 Flare7K++ は、既存のデータセットと比較して、実世界の夜間フレア除去ベンチマークをどれほど効果的に支援できるか？

主な発見

• Flare7K++ は正確な光源アノテーションを用いたエンドツーエンド学習を可能にし、従来のしきい値処理手法に起因するアーチファクトを低減することで、フレア除去の品質を顕著に向上させた。
• U-Netベースの光源抽出モデルは、光源周囲により自然なグレア効果を生成し、マスクフェザリング手法で一般的に見られる「テール」アーチファクトを回避した。
• Flare7K++ で訓練されたPSPNetは、ストリーク、グレア、光源のコンponentを正確にセグメンテーションでき、アノテーションの下流タスクへの有用性を示した。
• 実データと合成データの両方を含む本データセットは、多様性と現実性を向上させ、複雑な実世界のフレアパターンへの一般化を可能にした。
• 実験の結果、提案されたパイプラインは、微細または非過露出フレアを含む困難なケースにおいても、視覚的忠実度と安定性を維持する点で、従来手法を上回った。
• 本データセットとパイプラインは、今後の夜間画像修復およびビジョンアルゴリズム分野の研究における強固な基盤を提供する。