[논문 리뷰] Semantic Guided Single Image Reflection Removal

Yunfei Liu, Yu Li외 2명|arXiv (Cornell University)|2019. 07. 27.

Image Enhancement Techniques참고 문헌 30인용 수 7

한 줄 요약

이 논문은 고수준 객체 의미 정보를 가이던스로 활용하여 단일 이미지의 반사 제거와 세분화를 동시에 수행하는 다중 작업 딥러닝 프레임워크인 의미 지도 반사 제거 네트워크(Semantic Guided Reflection Removal Network, SGR2N)를 제안한다. 의미 정보를 반사 분리에 융합함으로써, 어려운 반사 조건에서도 배경의 명료성과 의미 정확도를 크게 향상시켜 양 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Reflection is common in images capturing scenes behind a glass window, which is not only a disturbance visually but also influence the performance of other computer vision algorithms. Single image reflection removal is an ill-posed problem because the color at each pixel needs to be separated into two values, i.e., the desired clear background and the reflection. To solve it, existing methods propose priors such as smoothness, color consistency. However, the low-level priors are not reliable in complex scenes, for instance, when capturing a real outdoor scene through a window, both the foreground and background contain both smooth and sharp area and a variety of color. In this paper, inspired by the fact that human can separate the two layers easily by recognizing the objects, we use the object semantic as guidance to force the same semantic object belong to the same layer. Extensive experiments on different datasets show that adding the semantic information offers a significant improvement to reflection separation. We also demonstrate the applications of the proposed method to other computer vision tasks.

연구 동기 및 목표

• 저수준 사전 지식에만 의존하는 것 대신 고수준 의미 정보를 통합하여 단일 이미지 반사 제거 문제의 부족한 정의 문제를 해결하고자 한다.
• 배경/반사 분리와 의미 분할을 함께 학습시킴으로써 반사 제거 성능을 향상시키고자 한다.
• 현실 세계의 상황에서 의미 이해가 반사 제거의 정확성과 강인성을 향상시킨다는 것을 입증하고자 한다.
• 반사 제거가 객체 탐지와 같은 후속 비전 작업의 전처리 단계로 유용한지를 검증하고자 한다.

제안 방법

• 반사 제거와 의미 분할을 동시에 최적화할 수 있도록 종단 간 다중 작업 딥러닝 프레임워크를 설계하였다.
• 의미 지도 블록이 반사 제거 네트워크의 특징 표현과 의미 특징 맵을 명시적으로 융합하여 계층적 분리를 지도한다.
• 공간적 세부 정보를 유지하기 위해 스킵 연결을 갖춘 인코더-디코더 아키텍처를 사용하였다.
• 배경 강도가 반사보다 더 강하다는 가정을 활용하여, 배경 의미 정보가 더 신뢰할 수 있는 지도로 활용되도록 하였다.
• 손실 함수로는 반사 제거를 위한 표준 재구성 손실과 의미 분할을 위한 교차 엔트로피 손실을 포함하며, 학습 중에 공동 최적화되었다.
• 공동 최적화를 가능하게 하기 위해 실제 반사 이미지와 의미 마스크가 주석 처리된 데이터셋을 사용하여 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 저수준 사전 지식에 비해 고수준 의미 지시어가 단일 이미지 반사 제거의 정확성과 강인성 향상에 기여하는가?
• RQ2 의미 분할과 반사 제거를 함께 학습함으로써 두 작업의 성능 향상 정도는 어떠한가?
• RQ3 반사 제거가 객체 탐지와 같은 후속 컴퓨터 비전 작업에 얼마나 기여하는가?
• RQ4 다양한 반사 강도와 복잡한 시나리오 조건에서 이 방법의 성능은 어떠한가?

주요 결과

• 제안된 SGR2N는 반사 제거(PSNR)와 의미 분할(mIoU) 모두에서 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였다.
• 반사 강도가 다양할 경우 SGR2N는 높은 성능을 유지하며, 반사 강도가 0.5 이하일 때는 mIoU가 약간 감소할 뿐이었다.
• 반사 강도가 0.5를 초과할 경우 의미 정확도가 저하되지만, ZN18 및 IBCLN과 같은 베이스라인 방법보다 여전히 뛰어난 성능을 보였다.
• YOLO-v3를 사용한 객체 탐지 실험에서 반사로 오염된 이미지의 mAP는 청소년 배경 대비 12.42% 감소했지만, 반사 제거 후에 크게 향상되었다.
• SGR2N의 반사 제거 출력에서의 객체 탐지 mAP는 42.83%에 도달하여 다른 방법들을 능가했고, 청소년 기준에 가까워졌다.
• 시각적 결과에서는 SGR2N가 특히 강한 반사가 있는 복잡한 시나리오에서 더 선명한 배경과 더 뚜렷한 반사 층을 생성하는 것으로 나타났다.