[논문 리뷰] CRRN: Multi-Scale Guided Concurrent Reflection Removal Network

Renjie Wan, Boxin Shi외 3명|arXiv (Cornell University)|2018. 05. 30.

Image Enhancement Techniques참고 문헌 18인용 수 9

한 줄 요약

이 논문은 다중 척도 가이드드 특징 융합과 시각적 감각 기반 손실 함수를 사용하여 반사 제거를 위한 배경 이미지와 기울기를 동시에 추론하는 동시 딥러닝 프레임워크 CRRN을 제안한다. 3,250장의 실세계 이미지로 구성된 새로운 데이터셋에서 훈련된 CRRN은 정량적 평가 지표와 시각적 품질에서 최신 기술을 초월하며, 특히 세밀한 디테일을 유지하고 블러를 줄이는 데 뛰어난 성능을 보인다.

ABSTRACT

Removing the undesired reflections from images taken through the glass is of broad application to various computer vision tasks. Non-learning based methods utilize different handcrafted priors such as the separable sparse gradients caused by different levels of blurs, which often fail due to their limited description capability to the properties of real-world reflections. In this paper, we propose the Concurrent Reflection Removal Network (CRRN) to tackle this problem in a unified framework. Our proposed network integrates image appearance information and multi-scale gradient information with human perception inspired loss function, and is trained on a new dataset with 3250 reflection images taken under diverse real-world scenes. Extensive experiments on a public benchmark dataset show that the proposed method performs favorably against state-of-the-art methods.

연구 동기 및 목표

• 실세계 반사 조건에서 자주 실패하는 수작업으로 설정된 사전 지식에 의존하는 비학습 기반 방법의 한계를 해결하기 위해.
• 기울기와 이미지를 별도로 추정하는 기존 딥러닝 방법의 이중 단계 설계로 인해 다중 척도 특징 활용이 제한되는 문제를 해결하기 위해.
• 합성 데이터가 아닌 대규모 실세계 반사 데이터셋에서 훈련하여 일반화 능력 향상과 디테일 유지 향상을 위해.
• 픽셀 단위 손실 기반 네트워크에서 흔히 발생하는 블러 아티팩트를 줄이기 위해 시각적 감각 기반 손실 함수를 도입하기 위해.

제안 방법

• CRRN은 두 개의 하위 네트워크를 가진 통합적이고 동시적인 아키텍처를 사용한다: 배경 추정을 위한 이미지 추론 네트워크(IiN)와 기울기 예측을 위한 기울기 추론 네트워크(GiN).
• IiN은 해당 해상도에서 GiN로부터 제공되는 다중 척도 기울기 특징에 의해 가이드되며, 외관과 에지 정보의 공동 최적화를 가능하게 한다.
• 다중 척도 가이드드 추론 모듈은 다양한 척도의 특징을 융합하여 특징 표현을 향상시키고, 디테일 복구를 개선한다.
• 시각적 감각 기반 손실 함수를 사용하여 블러를 억제하고 시각적 품질을 향상시키며, 기존의 L1/L2 손실 함수를 대체하거나 보완한다.
• 다양한 환경에서 촬영한 3,250장의 실세계 반사 이미지로 구성된 신규 수집된 데이터셋에서 훈련되어 실세계 변동성에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 이중 단계 접근 방식보다 동시적으로 이미지와 기울기 추론을 최적화하는 동시 딥러닝 프레임워크가 반사 제거에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 다중 척도 가이드드 특징 융합은 단일 척도 또는 비가이드드 방법에 비해 반사 제거에서 디테일 유지에 어떻게 기여하는가?
• RQ3 시각적 감각 기반 손실 함수는 표준 L1/L2 손실 함수에 비해 블러 아티팩트를 얼마나 줄이는가?
• RQ4 대규모 실세계 데이터셋에서 훈련하면, 예측되지 않은 복잡한 반사 시나리오에 대한 일반화 능력이 크게 향상되는가?

주요 결과

• SIR2 벤치마크에서 CRRN은 SSIM 0.895와 SI 0.925를 기록하여 정량적 및 정성적 평가에서 최신 기술을 모두 초월한다.
• 추론 실험 결과, GiN 하위 네트워크를 제거하면 SSIM이 0.867로 감소하여 기울기 가이드가 이미지 디테일 유지에 핵심적인 역할을 한다는 것을 입증한다.
• 시각적 감각 기반 손실 함수는 블러 아티팩트를 크게 줄이며, L1 손실만을 사용할 경우 SSIM 0.883, CRRN 전체 모델의 경우 SSIM 0.895로 비교해 뚜렷한 개선을 보였다.
• 전체 이미지에 반사가 지배적인 극단적인 케이스에서도 CRRN은 대부분의 반사를 제거하고, 모든 경쟁 방법보다 배경 디테일을 더 잘 유지한다.
• 다른 모델(FY17 [7])의 새로운 데이터셋에서도 CRRN은 강력한 성능을 유지하여 훈련 분포를 초월한 일반화 능력을 입증한다.