[논문 리뷰] Single-Image Lens Flare Removal.

Yicheng Wu, Qiurui He외 5명|arXiv (Cornell University)|2020. 11. 25.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 실제 렌즈의 특성과 파동광학 시뮬레이션을 조합하여 현실적인 플레어 손상 이미지를 생성하는 새로운 반합성적 파이프라인을 제안한다. 이 데이터를 바탕으로 신경망을 훈련시켜 기존 최고 수준의 방법보다 PSNR 3dB 향상시키며, 다양한 기기에서 촬영한 실제 플레어에도 잘 일반화됨.

ABSTRACT

Lens flare is a common artifact in photographs occurring when the camera is pointed at a strong light source. It is caused by either multiple reflections within the lens or scattering due to scratches or dust on the lens, and may appear in a wide variety of patterns: halos, streaks, color bleeding, haze, etc. The diversity in its appearance makes flare removal extremely challenging. Existing software methods make strong assumptions about the artifacts' geometry or brightness, and thus only handle a small subset of flares. We take a principled approach to explicitly model the optical causes of flare, which leads to a novel semi-synthetic pipeline for generating flare-corrupted images from both empirical and wave-optics-simulated lens flares. Using the semi-synthetic data generated by this pipeline, we build a neural network to remove lens flare. Experiments show that our model generalizes well to real lens flares captured by different devices, and outperforms start-of-the-art methods by 3dB in PSNR.

연구 동기 및 목표

• 기하학적, 밝기 및 산란 효과로 인해 매우 다양하게 나타나는 렌즈 플레어 제거 문제를 해결하기 위해.
• 플레어 기하학적 구조나 강도에 대해 강한 가정에 의존하는 기존 방법의 한계를 극복하기 위해.
• 내부 반사 및 렌즈 결함과 같은 광학적 원인을 모델링하여 물리적으로 타당한 방법으로 렌즈 플레어를 시뮬레이션하기 위해.
• 실제 측정값과 파동광학 시뮬레이션을 융합하여 다양한 플레어 패턴을 생성할 수 있는 반합성적 데이터 생성 파이프라인을 개발하기 위해.
• 이 합성 데이터를 기반으로 깊이 신경망을 훈련시켜 다양한 기기에서의 실제 렌즈 플레어에 대해 강력한 일반화 성능을 달성하기 위해.

제안 방법

• 파동광학 원리를 사용하여 다중 반사 및 산란 효과를 시뮬레이션함으로써 렌즈 플레어의 광학적 기원을 모델링하기 위해.
• 실제 렌즈 시스템에서의 실측 데이터를 통합하여 시뮬레이션된 플레어 특성의 校정을 수행하기 위해.
• 실제 렌즈 파rameter와 시뮬레이션된 플레어 패턴을 조합하여 데이터 증강을 위한 반합성적 파이프라인을 구성하기 위해.
• 빛원천 위치, 렌즈 요소 및 표면 결함을 다양하게 조절하여 다양한 현실적인 플레어 손상 이미지를 생성하기 위해.
• 반합성 데이터셋에서 엔드 투 엔드로 컨volutional 신경망을 훈련시켜 플레어가 제거된 이미지를 예측하기 위해.
• 합성 데이터의 물리적 현실성에 기반해 실제 플레어에 대한 제로샷 일반화 성능을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 반합성적 데이터 생성 파이프라인은 실제 세계의 렌즈 플레어 패턴의 다양성을 정확하게 시뮬레이션할 수 있는가?
• RQ2 렌즈 플레어의 물리적 원인을 모델링하면 딥러닝 기반 제거 방법의 일반화 성능이 향상되는가?
• RQ3 반합성적 데이터로 훈련된 모델은 다양한 기기에서 촬영한 실제 렌즈 플레어를 효과적으로 제거할 수 있는가?
• RQ4 다양한 플레어 조건에서 기존 플레어 제거 기법과 비교해 본다면 제안된 방법의 성능은 어떠한가?
• RQ5 파동광학과 실측 데이터의 융합이 합성 훈련 데이터의 현실성과 효과성에 얼마나 기여하는가?

주요 결과

• 제안된 반합성적 파이프라인은 실제 관측 결과와 매우 유사한 현실적인 렌즈 플레어 패턴을 성공적으로 생성함.
• 반합성적 데이터로 훈련된 신경망은 실제 플레어 제거 벤치마크에서 기존 최고 수준의 방법보다 PSNR 3dB 향상됨.
• 실제로 다른 카메라와 렌즈로 촬영한 플레어에 대해서도 토닝 없이도 효과적으로 일반화됨.
• 기하학적 또는 강도 기반 가정에 의존하는 기존 방법보다 복잡한 플레어 패턴에서 특히 우수한 성능을 보임.
• 파동광학과 실측 데이터의 융합이 합성 훈련 데이터의 현실성과 다양성을 크게 향상시킴.
• 반사형, 줄무늬, 색상 번짐 등의 다양한 유형의 플레어에 대해 뛰어난 강인성을 보임.