[論文レビュー] Flare7K: A Phenomenological Nighttime Flare Removal Dataset

Yuekun Dai, Chongyi Li+3 more|arXiv (Cornell University)|Oct 12, 2022

Image Enhancement Techniques被引用数 25

ひとこと要約

Flare7Kは、5,000の散乱フレア画像と2,000の反射フレア画像を含む、夜間レンズフレアの初の大規模データセットを提供し、豊富な注釈を付与して、夜間フレア除去手法の訓練と評価を可能にします。

ABSTRACT

Artificial lights commonly leave strong lens flare artifacts on images captured at night. Nighttime flare not only affects the visual quality but also degrades the performance of vision algorithms. Existing flare removal methods mainly focus on removing daytime flares and fail in nighttime. Nighttime flare removal is challenging because of the unique luminance and spectrum of artificial lights and the diverse patterns and image degradation of the flares captured at night. The scarcity of nighttime flare removal datasets limits the research on this crucial task. In this paper, we introduce, Flare7K, the first nighttime flare removal dataset, which is generated based on the observation and statistics of real-world nighttime lens flares. It offers 5,000 scattering and 2,000 reflective flare images, consisting of 25 types of scattering flares and 10 types of reflective flares. The 7,000 flare patterns can be randomly added to flare-free images, forming the flare-corrupted and flare-free image pairs. With the paired data, we can train deep models to restore flare-corrupted images taken in the real world effectively. Apart from abundant flare patterns, we also provide rich annotations, including the labeling of light source, glare with shimmer, reflective flare, and streak, which are commonly absent from existing datasets. Hence, our dataset can facilitate new work in nighttime flare removal and more fine-grained analysis of flare patterns. Extensive experiments show that our dataset adds diversity to existing flare datasets and pushes the frontier of nighttime flare removal.

研究の動機と目的

• 夜間に撮影された夜間フレア腐敗画像とフレアなし画像を現実的で多様なペアデータとして提供し、堅牢な夜間フレア除去を動機づけ、実現する。
• 夜間フレアのパターン（散乱と反射）とその構成要素を特徴づけ、細かな分析とモデル学習を支援する。
• フレア除去を超えた追加タスクを促進するために、光源、グレア（きらめき付き）、反射フレア、ストリークといった豊富な注釈を提供する。
• 合成データと実世界データのギャップを埋めるために、夜間の実観測に基づく合成を現実的な基盤に据える。

提案手法

• 現実世界の夜間フレアを観測し、25種類の散乱タイプと10種類の反射タイプから5,000の散乱、2,000の反射の計7,000パターンを合成して、大規模な夜間フレアデータセットを構築する。
• 散乱フレアを4つの構成要素（光源、グレア、シマー、ストリーク）に分解し、データ駆動パラメータ化を用いてAdobe After Effectsで合成する。
• アイリスパターンのバンクを用いて反射フレアを合成し、実際のレンズ反射を模倣するためにカウストクスとクリッピング効果を組み込む。
• 各合成フレアパターンをフレアなし画像と対になるペアにして、監視学習に適したフレア腐敗/フレアなしの画像ペアを作成する。
• ペアのテストデータ（合成と実データ）を収集し、全参照評価を可能にして実用的な関連性を確保する。
• Flare7Kでネットワークを訓練し、既存の手法と比較することで、夜間フレア除去手法をベンチマークする。例えばU-Net系の変種を用いる。

実験結果

リサーチクエスチョン

• RQ1 実世界のシナリオに現れる夜間フレアパターンの多様性と現実性はどの程度か。
• RQ2 大規模で注釈付きの夜間フレアデータセットは、夜間条件下でのフレア除去の効果的な supervised 学習を可能にするか。
• RQ3 フレアの構成要素（散乱 vs 反射）は除去の難易度にどう寄与し、注釈はより細かな分析を支援できるか。
• RQ4 Flare7Kで訓練したモデルは、昼間データセットや半合成データで訓練したモデルより現実世界の夜間フレアシナリオに一般化しやすいか。
• RQ5 Flare7Kで訓練されたモデルを用いた場合、合成データと実データの夜間フレアに対して、客観的指標の定量的な改善はどれくらい見られるか。

主な発見

• Flare7Kは7,000パターン（散乱5,000、反射2,000）、25種類の散乱タイプと10種類の反射タイプを含む。
• データセットは光源、シマー付きグレア、反射フレア、ストリークの構成要素に対する豊富な注釈を提供する。
• 合成と実データのペアテストデータを収集し、フレア除去手法の全参照評価を可能にした。
• 実験では、Flare7Kで訓練したモデルが従来のデータセットと比較して夜間のフレア除去の多様性と性能を向上させることを示した。
• Flare7Kを訓練データとして用い、実際の夜間フレアデータに対して評価したベースラインモデルは、復元品質の向上を示し、データセットがベンチマークとして有用であることを示した。
• 既存の昼間データセットと比較して、Flare7Kは実世界の夜間フレアパターンと課題をより良く捉える。