[논문 리뷰] Flare7K++: Mixing Synthetic and Real Datasets for Nighttime Flare Removal and Beyond

Yuekun Dai, Chongyi Li외 4명|arXiv (Cornell University)|2023. 06. 07.

Image Enhancement Techniques인용 수 7

한 줄 요약

Flare7K++는 962장의 실제 야간 플레어 이미지(Flare-R)와 7,000장의 합성 플레어(Flip7K)를 조합한 최초의 종합적 데이터셋을 소개하며, 정확한 광원 위치 정보를 제공함으로써 종단 간 야간 렌즈 플레어 제거를 가능하게 한다. 제안된 파이프라인은 이러한 정보를 활용해 산란 및 반사 플레어를 제거하면서도 현실적인 광원을 유지함으로써, 복잡한 손상이나 미세한 비과도시된 플레어를 처리하는 데 있어 이전 방법들보다 뛰어난 성능을 발휘한다.

ABSTRACT

Artificial lights commonly leave strong lens flare artifacts on the images captured at night, degrading both the visual quality and performance of vision algorithms. Existing flare removal approaches mainly focus on removing daytime flares and fail in nighttime cases. Nighttime flare removal is challenging due to the unique luminance and spectrum of artificial lights, as well as the diverse patterns and image degradation of the flares. The scarcity of the nighttime flare removal dataset constraints the research on this crucial task. In this paper, we introduce Flare7K++, the first comprehensive nighttime flare removal dataset, consisting of 962 real-captured flare images (Flare-R) and 7,000 synthetic flares (Flare7K). Compared to Flare7K, Flare7K++ is particularly effective in eliminating complicated degradation around the light source, which is intractable by using synthetic flares alone. Besides, the previous flare removal pipeline relies on the manual threshold and blur kernel settings to extract light sources, which may fail when the light sources are tiny or not overexposed. To address this issue, we additionally provide the annotations of light sources in Flare7K++ and propose a new end-to-end pipeline to preserve the light source while removing lens flares. Our dataset and pipeline offer a valuable foundation and benchmark for future investigations into nighttime flare removal studies. Extensive experiments demonstrate that Flare7K++ supplements the diversity of existing flare datasets and pushes the frontier of nighttime flare removal towards real-world scenarios.

연구 동기 및 목표

• 저조도 이미지 복원 분야의 발전을 저해하는 실제 야간 플레어 데이터셋의 부족 문제를 해결하기 위해.
• 비과도시되거나 복잡하게 손상된 플레어에 대해 실패하는 기존 플레어 제거 방법의 한계를 극복하기 위해.
• 야간 영상에서 산란 및 반사 플레어를 제거하면서도 광원을 유지하는 통합형 종단 간 파이프라인을 개발하기 위해.
• 학습 및 벤치마킹을 위한 구성 요소 수준의 레이블(광원, 줄무늬, 반사광)을 제공하기 위해.
• 실제 세계의 복잡성과 다양성을 반영한 새로운 야간 플레어 제거 기준을 설정하기 위해.

제안 방법

• 데이터셋은 어두운 실내에서 다양한 렌즈 오염 물질을 포함한 962장의 실제 플레어 이미지(Flare-R)와 물리 기반 모델링을 사용해 생성한 7,000장의 합성 플레어(Flip7K)를 조합한다.
• Flare7K++는 광원, 줄무늬, 반사광에 대한 세부 레이블을 포함하며, 반짝임 효과까지 포함하여 구성 요소별 학습이 가능하도록 한다.
• 구성 요소 레이블을 활용해 플레어 제거와 광원 복원을 동시에 최적화하는 종단 간 딥러닝 파이프라인을 제안한다.
• 5,000장의 합성 산란 플레어를 기반으로 L1 손실을 사용해 U-Net 기반의 광원 추출 네트워크를 훈련시켜 현실감 있는 효과를 향상시키고 '꼬리' 같은 아티팩트를 방지한다.
• 플레어 제거 모델은 배경, 반사광(반짝임 포함), 줄무늬, 광원에 각각 1.0, 1.0, 2.0, 4.0의 클래스 가중치를 적용한 교차 엔트로피 손실을 사용한다.
• 데이터 증강 및 훈련 프로토콜(SGD + 다항 감소, 광원 모델에 대해 Adam)을 적용하여 강건성과 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 합성 및 실제 데이터셋을 융합함으로써 야간 렌즈 플레어 제거 모델의 일반화 능력과 현실감이 향상되는가?
• RQ2 구성 요소 수준의 레이블을 활용한 종단 간 학습은 플레어 제거 과정에서 광원을 얼마나 잘 유지하는가?
• RQ3 광원 레이블은 플레어 제거 과정에서 '꼬리' 또는 줄무늬 과도 추출과 같은 아티팩트를 어느 정도 감소시키는가?
• RQ4 제안된 파이프라인은 임계값 기반 방법보다 비과도시되거나 미세하거나 복잡하게 손상된 플레어를 더 잘 처리할 수 있는가?
• RQ5 기존 데이터셋에 비해 Flare7K++는 실제 야간 플레어 제거 벤치마크를 얼마나 잘 지원하는가?

주요 결과

• Flare7K++는 정확한 광원 위치 레이블을 통한 종단 간 훈련을 가능하게 하여 기존 임계값 기반 방법의 아티팩트를 줄이고 플레어 제거 품질을 크게 향상시켰다.
• U-Net 기반의 광원 추출 모델은 광원 주변에 더 자연스러운 반사광 효과를 생성하여 마스크 페이딩 기법에서 흔히 발생하는 '꼬리' 아티팩트를 방지했다.
• Flare7K++에서 훈련된 PSPNet은 줄무늬, 반사광, 광원을 정확하게 세분화하여 레이블의 유용성을 후속 작업에 적용함을 입증했다.
• 실제 및 합성 플레어를 모두 포함함으로써 데이터셋은 다양성과 현실감을 향상시켜 복잡한 실제 플레어 패tern에 대한 일반화 능력을 향상시켰다.
• 실험 결과, 제안된 파이프라인은 특히 미세하거나 비과도시된 플레어가 있는 도전적인 케이스에서 시각적 정밀도와 안정성을 유지하며 이전 방법들을 뛰어넘는 성능을 보였다.
• 이 데이터셋과 파이프라인은 향후 야간 이미지 복원 및 비전 알고리즘 연구에 강력한 기반을 제공한다.