[논문 리뷰] Single Image Reflection Removal Exploiting Misaligned Training Data and Network Enhancements

Kaixuan Wei, Jiaolong Yang외 3명|arXiv (Cornell University)|2019. 04. 01.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 실세계에서 비정렬된 훈련 데이터를 활용하기 위해 맥락 인식 네트워크 개선과 정렬 불변 손실을 통합함으로써 단일 이미지 반사 제거를 위한 새로운 딥러닝 접근법을 제안한다. 채널별 및 다중 스케일 공간 맥락 모듈을 통합하고, 최소한의 제약 조건으로 수집된 비정렬 이미지 쌍을 훈련에 사용함으로써, 실세계 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 반사 제거 및 배경 복원 정확도를 크게 향상시킨다.

ABSTRACT

Removing undesirable reflections from a single image captured through a glass window is of practical importance to visual computing systems. Although state-of-the-art methods can obtain decent results in certain situations, performance declines significantly when tackling more general real-world cases. These failures stem from the intrinsic difficulty of single image reflection removal -- the fundamental ill-posedness of the problem, and the insufficiency of densely-labeled training data needed for resolving this ambiguity within learning-based neural network pipelines. In this paper, we address these issues by exploiting targeted network enhancements and the novel use of misaligned data. For the former, we augment a baseline network architecture by embedding context encoding modules that are capable of leveraging high-level contextual clues to reduce indeterminacy within areas containing strong reflections. For the latter, we introduce an alignment-invariant loss function that facilitates exploiting misaligned real-world training data that is much easier to collect. Experimental results collectively show that our method outperforms the state-of-the-art with aligned data, and that significant improvements are possible when using additional misaligned data.

연구 동기 및 목표

• 반사 및 투과층의 모호한 분해로 인해 본질적으로 잘 정의되지 않은 단일 이미지 반사 제거(SIRR) 문제를 해결하기 위해.
• 실세계에서 밀도 라벨이 부여된 훈련 데이터의 희소성 문제를 해결하기 위해, 엄격한 카메라 또는 장면 안정성 없이도 쉽게 확보할 수 있는 비정렬 이미지 쌍을 활용할 수 있도록 하기 위해.
• 전역 공간 및 채널별 맥락을 캡처하는 맥락 인코딩 모듈을 통해 딥 신경망을 강화하여 반사 제거 성능을 향상시키기 위해.
• 정확한 공간 대응이 필요 없이도 효과적인 훈련이 가능하도록, 정렬 불변 손실 함수를 개발하여 비정렬 실세계 데이터에서의 훈련을 가능하게 하기 위해.
• 아키텍처 개선과 비정렬 데이터 활용이 실세계 SIRR 벤치마크에서 함께 뛰어난 성능을 이끌어내는지 입증하기 위해.

제안 방법

• 전역 활성화 통계 기반으로 특징 맵을 재가중하는 채널별 주의 메커니즘을 도입하여 반사 제거를 위한 분류 능력을 향상시킨다.
• 특징 피라미드 수준에서 다중 스케일 공간 맥락 집합을 활용하여 공간 표현의 전역 맥락 일관성을 확보한다.
• 픽셀 수준의 대응이 필요 없이 복원 오차를 최소화함으로써, 비정렬 이미지 쌍에서의 훈련이 가능하도록 정렬 불변 손실 함수를 설계한다.
• 맥락 인코딩 모듈이 통합된 수정된 U-Net 유사 인코더-디코더 아키텍처를 사용하여 반사 제거를 위한 특징 표현을 향상시킨다.
• DSLR 및 스마트폰 카메라로 촬영한 대량의 비정렬 실세계 이미지 쌍과 정렬된 실세계 데이터의 조합을 사용해 네트워크를 훈련시킨다.
• 정렬된 데이터와 비정렬 데이터를 모두 사용하여 실세계 데이터셋에서의 피니팅을 수행하며, 인간 선호 평가를 통해 성능 향상을 검증한다.

실험 결과

연구 질문

• RQ1 I = T + R의 분해가 본질적으로 잘 정의되지 않은 상황에서 맥락 인식 네트워크 설계가 반사 제거의 모호성을 줄일 수 있는가?
• RQ2 엄격한 카메라 또는 장면 안정성이 없이도 쉽게 확보할 수 있는 비정렬 실세계 이미지 쌍이 SIRR에서 딥 네트워크 훈련에 효과적으로 활용될 수 있는가?
• RQ3 정렬 불변 손실 함수는 정렬된 데이터에서의 성능를 유지하면서도 비정렬 데이터에서의 효과적인 훈련을 가능하게 하는가?
• RQ4 아키텍처 개선과 비정렬 데이터 활용이 실세계 벤치마크에서 SIRR 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법이 다양한 실세계 테스트 세트, 특히 도전적인 와일드 시나리오에서도 기존 최신 기술 수준 모델을 초월할 수 있는가?

주요 결과

• 제안된 ERRNet는 'Real20' 및 'Objects' 데이터셋에서 최신 기술 수준 성능를 달성하여 PSNR, SSIM, NCC 지표에서 이전 SOTA 모델을 능가한다.
• 'Postcard' 데이터셋에서 ERRNet는 최고 성능을 기록한 BDN-F 모델과 유사한 결과를 내보내, 다양한 시나리오 유형에 대한 강력한 일반화 능력을 입증한다.
• 'Wild' 데이터셋에서는 어떤 방법도 입력 이미지보다 성능이 떨어지지 않아, 복잡하고 제약이 없는 환경에서의 향상 여지가 크다는 것을 시사한다.
• 인간 선호 평가 결과, 비정렬 데이터에서 훈련된 피니팅된 ERRNet는 원본 모델 대비 54%의 선호도를 기록했으며, BDN-F 대비 36%보다 높은 선호도를 보여 제안된 방법이 더 강한 사용자 선호도를 가짐을 입증한다.
• 정렬 불변 손실은 비정렬 데이터에서의 피니팅 시 시각적·정량적 성능 향상이 뚜렷하게 이루어지며, 관찰자들이 일관되게 향상된 결과를 선호함을 보였다.
• 시각적 결과 분석에서 ERRNet는 기존 기준 모델 대비 나뭇가지 등 강한 반사 물체를 더 정확하게 제거하는 것으로 나타났다.