[논문 리뷰] Single Image Reflection Separation with Perceptual Losses

Xuaner Zhang, Ren Ng외 1명|arXiv (Cornell University)|2018. 06. 14.

Image Enhancement Techniques참고 문헌 23인용 수 14

한 줄 요약

이 논문은 인지 손실(특히 사전 훈련된 인지 네트워크에서 유도된 특징 손실과 적대적 손실)을 사용한 완전 컨volution 네트워크를 활용해 단일 이미지 반사 분리 문제를 해결하는 딥러닝 접근법을 제안한다. 더불어 전이 및 반사 층 간의 픽셀 수준의 독립성을 강제하기 위한 새로운 배제 손실을 도입하였다. 제안된 방법은 합성 및 실세계 데이터 모두에서 PSNR, SSIM 및 사용자 연구에서 최신 기술을 능가하며, 재학습 없이도 플레어 제거 및 안개 제거 작업으로 일반화된다.

ABSTRACT

We present an approach to separating reflection from a single image. The approach uses a fully convolutional network trained end-to-end with losses that exploit low-level and high-level image information. Our loss function includes two perceptual losses: a feature loss from a visual perception network, and an adversarial loss that encodes characteristics of images in the transmission layers. We also propose a novel exclusion loss that enforces pixel-level layer separation. We create a dataset of real-world images with reflection and corresponding ground-truth transmission layers for quantitative evaluation and model training. We validate our method through comprehensive quantitative experiments and show that our approach outperforms state-of-the-art reflection removal methods in PSNR, SSIM, and perceptual user study. We also extend our method to two other image enhancement tasks to demonstrate the generality of our approach.

연구 동기 및 목표

• 고유한 해가 존재하지 않는 사전 지식 없이도 제약 조건이 부족한 단일 이미지 반사 분리 문제를 해결하기 위해.
• 인지 감독을 통해 저수준 및 고수준 이미지 통계를 통합함으로써 반사 제거 성능을 향상시키기 위해.
• 전이 및 반사 층 간의 기울기 도메인에서의 독립성을 강제하는 새로운 배제 손실을 개발하기 위해.
• 정량적 평가 및 모델 훈련을 위한 기준 전이 층이 포함된 실세계 데이터셋을 구축하기 위해.
• 반사 분리에 훈련된 모델이 플레어 제거 및 안개 제거와 같은 다른 층 분리 작업으로 일반화될 수 있는지 보여주기 위해.

제안 방법

• 단일 입력 이미지에서 반사 및 전이 층을 예측하기 위해 엔드 투 엔드 완전 컨volution 네트워크를 훈련한다.
• 사전 훈련된 인지 네트워크(예: VGG)의 활성화 맵에서 계산된 특징 손실을 사용해 고수준 의미 일관성을 감독한다.
• 전이 층의 현실성과 자연스러움을 향상시키기 위해 판별자 네트워크를 활용한 적대적 손실을 적용한다.
• 전이 층과 반사 층 간의 기울기 상관관계를 최소화함으로써 픽셀 수준의 분리를 강제하는 배제 손실을 도입한다.
• 결합된 손실 함수를 사용해 모델을 훈련한다: $ \mathcal{L} = \lambda_1 L_{\text{feat}} + \lambda_2 L_{\text{adv}} + \lambda_3 L_{\text{excl}} + \lambda_4 L_1 $.
• 기존에 수집한 실세계 데이터셋(기준 전이 층이 포함된 1,000개의 이미지 쌍)을 활용해 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다중 수준의 인지 손실(특징 및 적대적)이 저수준 손실만을 사용하는 것보다 반사 분리 성능을 향상시키는가?
• RQ2 층 간의 기울기 도메인 독립성을 강제하는 새로운 배제 손실이 픽셀 수준의 분리 품질을 향상시키는가?
• RQ3 실세계 이미지에서 제안된 방법이 최신 기술 대비 정량적 및 정성적으로 어떻게 성능을 내는가?
• RQ4 반사 분리에 훈련된 모델이 플레어 제거 및 안개 제거와 같은 다른 층 분리 작업으로 일반화될 수 있는가?
• RQ5 고수준 의미 정보(예: 객체 인식)의 통합이 모호하거나 복잡한 장면에서 반사 제거 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 실세계 테스트 이미지에서 PSNR 21.30과 SSIM 0.821을 달성하여 이전 최신 기술을 능가한다.
• 합성 데이터에서는 PSNR 22.63과 SSIM 0.853을 기록하여 강력한 일반화 능력을 입증한다.
• 제거 실험 결과, 특징 손실, 적대적 손실, 배제 손실 중 어느 하나를 제거해도 성능 저하가 심각하게 발생하며, 특히 세부 사항과 색상 충실도에 영향을 미친다.
• 배제 손실은 전이 층 내 잔여 반사 현상을 효과적으로 감소시켜 청소된 분리 결과를 확보하는 데 기여한다.
• 적대적 손실은 아티팩트와 색상 열화를 줄여 정성적 품질을 향상시키며, 이는 이 손실이 없는 모델에서 관찰된 문제를 완화한다.
• 모델은 미세조정 없이도 플레어 제거 및 안개 제거 작업으로 일반화되어 잘 작동하며, 그 결과는 그림 7에서 시각적으로 타당한 결과로 나타났다.