[논문 리뷰] Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance

Yu Li, Ming Liu외 4명|arXiv (Cornell University)|2020. 12. 02.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 단일 이미지 반사 제거를 위한 이중 단계 딥러닝 프레임워크인 RAGNet을 제안한다. 이는 먼저 반사층을 추정한 다음 반사 인식 가이던스(RAG) 모듈을 사용해 투과 추정을 향상시킨다. RAG 모듈은 특징 차이를 통해 반사를 억제하고, 부분 복(convolution)을 사용해 선형 조합 가정 위반을 다루기 위한 적응형 마스크를 생성하며, 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Removing undesired reflection from an image captured through a glass surface is a very challenging problem with many practical application scenarios. For improving reflection removal, cascaded deep models have been usually adopted to estimate the transmission in a progressive manner. However, most existing methods are still limited in exploiting the result in prior stage for guiding transmission estimation. In this paper, we present a novel two-stage network with reflection-aware guidance (RAGNet) for single image reflection removal (SIRR). To be specific, the reflection layer is firstly estimated due to that it generally is much simpler and is relatively easier to estimate. Reflectionaware guidance (RAG) module is then elaborated for better exploiting the estimated reflection in predicting transmission layer. By incorporating feature maps from the estimated reflection and observation, RAG can be used (i) to mitigate the effect of reflection from the observation, and (ii) to generate mask in partial convolution for mitigating the effect of deviating from linear combination hypothesis. A dedicated mask loss is further presented for reconciling the contributions of encoder and decoder features. Experiments on five commonly used datasets demonstrate the quantitative and qualitative superiority of our RAGNet in comparison to the state-of-the-art SIRR methods. The source code and pre-trained model are available at https://github.com/liyucs/RAGNet.

연구 동기 및 목표

• 단일 이미지 반사 제거(SIRR)의 불안정한 성격을 이중 단계 딥러닝 프레임워크를 활용해 해결하고자 한다.
• 첫 번째 단계에서 추정한 반사층을 효과적으로 활용해 투과 추정을 향상시키고자 한다.
• 실세계 이미지에서 선형 조합 가정(I = T + R)을 위반하는 강한 반사의 영향을 줄이고자 한다.
• 에코더와 디코더 특징 기여도를 균형 있게 조절하기 위해 전용 마스크 손실을 설계하고자 한다.

제안 방법

• 네트워크는 전용 첫 번째 단계에서 관측값 $I$ 로부터 반사층 $\hat{R}$ 을 추정한다.
• 두 번째 단계에서 반사 인식 가이던스(RAG) 모듈이 $I$ 와 $\hat{R}$ 을 모두 사용해 투과 추정 $\hat{T}$ 를 안내한다.
• RAG 모듈은 반사 효과를 억제하기 위해 특징 차이 $\mathbf{F}_{\text{diff}} = \mathbf{F}_I - \mathbf{F}_{\hat{R}}$ 를 계산한다.
• 차이 특징에 대한 $\mathbf{M}_{\text{diff}}$ 와 디코더 특징에 대한 $\mathbf{M}_{\text{dec}}$ 를 포함해 두 개의 마스크를 생성하며, 이는 비선형 영역을 다루기 위해 부분 복(convolution)에 사용된다.
• 에코더와 디코더 특징의 기여도를 균형 있게 조절하기 위해 전용 마스크 손실 $\mathcal{L}_{\text{mask}}$ 를 도입한다.
• 스킵 연결과 다중 척도 특징 융합 전략을 사용해 공간적 세부 정보와 맥락을 유지한다.

실험 결과

연구 질문

• RQ1 반사층을 먼저 추정하는 것이 SIRR에서 투과 추정의 정확성과 견고성을 향상시키는가?
• RQ2 선형 조합 가정이 붕괴되는 영역에서 추정된 반사층을 효과적으로 활용해 투과 예측을 안내할 수 있는가?
• RQ3 부분 복을 통한 적응형 마스킹이 강한 또는 비선형 반사가 있는 이미지에서 성능 향상에 기여하는가?
• RQ4 전용 마스크 손실이 네트워크 내에서 에코더와 디코더 특징 기여도를 균형 있게 조절하는 데 미치는 영향은 무엇인가?

주요 결과

• RAGNet은 다섯 개의 널리 사용되는 SIRR 벤치마크에서 최신 기술 수준의 성능을 달성했으며, Real 20 데이터셋에서 PSNR 22.95와 SSIM 0.793를 기록했다.
• SIR-2-Wild 데이터셋에서 RAGNet은 PSNR 25.52와 SSIM 0.880을 기록했으며, 비교된 모든 방법들을 능가했다.
• 절단 실험 결과, 마스크 손실이나 차이 특징을 제거할 경우 성능 저하가 심각하게 발생함을 확인했으며, 이는 그들의 필수성을 입증한다.
• 채널별 마스크를 사용하는 변형 RAGNet ${}_{\mathbf{F}\circ\mathbf{M}^{2c}}$ 가 통합 마스크 변형보다 뛰어난 성능을 보이며 SIRR에 더 적합함을 시사한다.
• 일단 단계 변형인 RAGNet I→T 는 성능 저하가 심각하게 발생함을 통해 이중 단계 아키텍처의 필수성을 입증한다.
• 정성적 결과는 RAGNet이 복잡한 환경에서 강한 반사, 예를 들어 광택 있는 표면에 발생하는 밝은 반사까지 효과적으로 제거함을 보여주며, 경쟁 방법들이 실패하는 경우에도 유사한 성능을 발휘한다.