[논문 리뷰] Polarized Reflection Removal with Perfect Alignment in the Wild

Chenyang Lei, Xuhua Huang외 4명|arXiv (Cornell University)|2020. 03. 28.

Image Enhancement Techniques참고 문헌 33인용 수 11

한 줄 요약

이 논문은 실제 환경에서 혼합 이미지와 투과 이미지 간의 완벽한 정렬을 달성하기 위해 새로운 M-R 데이터 수집 파이프라인을 활용한 편광 기반 반사 제거 방법을 제안한다. 인지적 NCC (PNCC) 손실을 사용하는 이중 단계 딥러닝 프레임워크를 통해, 날카운 반사 및 다양한 유리 종류를 다룰 때도 제한적인 가정 없이 최신 기술들을 능가한다.

ABSTRACT

We present a novel formulation to removing reflection from polarized images in the wild. We first identify the misalignment issues of existing reflection removal datasets where the collected reflection-free images are not perfectly aligned with input mixed images due to glass refraction. Then we build a new dataset with more than 100 types of glass in which obtained transmission images are perfectly aligned with input mixed images. Second, capitalizing on the special relationship between reflection and polarized light, we propose a polarized reflection removal model with a two-stage architecture. In addition, we design a novel perceptual NCC loss that can improve the performance of reflection removal and general image decomposition tasks. We conduct extensive experiments, and results suggest that our model outperforms state-of-the-art methods on reflection removal.

연구 동기 및 목표

• 유리 굴절으로 인해 기존 반사 제거 데이터셋에서 배경 이미지와 투과 이미지 간 정합도가 떨어지는 문제를 해결하기 위해.
• 흐린 반사 또는 가짜 그림자 신호에 의존하는 이전 방법의 한계를 극복하기 위해.
• 완벽한 정렬을 보장하는 물리적으로 정확하고 데이터 효율적인 파이프라인을 개발하여 실제 편광 반사 데이터를 수집하기 위해.
• 편광 신호를 활용한 일반화 가능하고 가정이 없는 딥러닝 프레임워크를 제안하기 위해.
• 다중 수준에서 반사 및 투과 특징 간 상관관계를 최소화하는 인지적 NCC (PNCC) 손실을 도입하여 이미지 분해 과업 성능을 향상시키기 위해.

제안 방법

• 혼합(M) 및 반사(R) 이미지를 직접 촬영하는 M-R 데이터 수집 파이프라인을 제안하며, 원시 센서 공간에서 T = M - R를 계산하여 혼합 이미지와 투과 이미지 간 완벽한 정렬을 확보한다.
• 이중 단계 딥러닝 프레임워크를 설계하여, 먼저 반사(R)를 추정하고, 추정된 R에서 투과(T)를 추론한다.
• 다중 수준에서 반사 및 투과 특징 간 상관관계를 최소화하는 새로운 인지적 NCC (PNCC) 손실을 도입하여 분해 품질을 향상시킨다.
• 빛의 극화 상태나 반사 흐림에 대한 가정 없이, I₁, I₂, I₃, I₄, ρ, φ 등의 편광 데이터를 입력으로 사용한다.
• T가 M과 R에서 유도되는 물리적으로 정확한 이미지 형성 모델을 활용하여 배경 이미지 정합도 문제를 피한다.
• 100종 이상의 실제 유리 유형을 포함한 새로운 데이터셋을 통해 방법을 검증하여 다양성과 정합도를 확보한다.

실험 결과

연구 질문

• RQ1 새로운 데이터 수집 파이프라인을 통해 실제 반사 제거 데이터셋에서 혼합 이미지와 투과 이미지 간 완벽한 정합도를 달성할 수 있는가?
• RQ2 이중 단계 학습 프레임워크와 결합된 편광 정보가 반사 제거 성능을 어떻게 향상시키는가?
• RQ3 기존의 배제 손실과 비교할 때 제안된 PNCC 손실이 분해 성능을 얼마나 향상시키는가?
• RQ4 흐림이나 가짜 그림자 가정 없이도 다양한 유리 종류와 반사 외관에 대해 일반화 가능한가?
• RQ5 반사 외관에 대한 제한적인 가정이 없을 경우, 도전적인 실제 사례에서 더 높은 견고성을 확보할 수 있는가?

주요 결과

• 제안된 방법은 합성 및 실제 환경 벤치마크에서 최신 기술을 능가하는 성능을 달성하며, 투과 이미지에 대해 PSNR 34.62와 SSIM 0.936의 성능을 기록한다.
• 절단 분석 결과, 편광 입력이 성능 향상에 가장 기여하며, 비편광 입력 대비 PSNR를 2.7 dB 이상 향상시킨다.
• 이중 단계 설계가 단일 단계 기준선 대비 PSNR를 0.8 dB 향상시켜 특징 학습의 효과성을 입증한다.
• 초기화 하이퍼파rameter 없이도 PNCC 손실이 DoubleDIP의 배제 손실보다 PSNR에서 3.9 dB 높은 성능을 기록한다.
• 곡선 유리 및 이전 연구의 비이상적 데이터에 대해서도 모델이 잘 일반화되며, 최소한의 아티팩트와 잔류 반사 없이 작동한다.
• 흐린 반사 가정 없이 날카운 반사까지도 성공적으로 제거하며, 이러한 경우에 실패하는 기존 방법들을 능가한다.