[논문 리뷰] Single Image Reflection Removal Using Deep Encoder-Decoder Network

Zhixiang Chi, Xiaolin Wu외 2명|arXiv (Cornell University)|2018. 01. 31.

Advanced Image Processing Techniques참고 문헌 27인용 수 28

한 줄 요약

이 논문은 반사 이미지가 오염된 단일 이미지에서 반사 성분을 제거하기 위해 물리적 반사 모델을 사용해 생성한 사진처럼 생긴 합성 데이터로만 훈련된 딥 인코더-디코더 CNN을 제안한다. 반사 성분의 부드러움에 대한 가정 없이도 실세계 이미지에서 최신 기술을 뛰어넘는 성능을 보이며, SOTA 수준의 PSNR 성능을 달성한다.

ABSTRACT

Image of a scene captured through a piece of transparent and reflective material, such as glass, is often spoiled by a superimposed layer of reflection image. While separating the reflection from a familiar object in an image is mentally not difficult for humans, it is a challenging, ill-posed problem in computer vision. In this paper, we propose a novel deep convolutional encoder-decoder method to remove the objectionable reflection by learning a map between image pairs with and without reflection. For training the neural network, we model the physical formation of reflections in images and synthesize a large number of photo-realistic reflection-tainted images from reflection-free images collected online. Extensive experimental results show that, although the neural network learns only from synthetic data, the proposed method is effective on real-world images, and it significantly outperforms the other tested state-of-the-art techniques.

연구 동기 및 목표

• 반사 성분에 대한 명시적 사전 지식이 부족하고 역문제가 과도하게 결정되지 않은 점으로 인해 어려운 단일 이미지 반사 제거 문제를 해결하기 위해.
• 다중 이미지, 투명 필터, 또는 반사 성분의 부드러움이나 흩어름ness에 대한 가정에 의존하는 기존 방법의 한계를 극복하기 위해.
• 합성 데이터로만 훈련되었음에도 불구하고 실세계 이미지에 잘 일반화되는 데이터 기반 딥 러닝 접근법을 개발하기 위해.
• 이미지에 반사가 형성되는 물리적 메커니즘을 모델링하여 대규모이고 사진처럼 생긴 훈련 데이터를 생성함으로써 일반화 능력을 향상시키기 위해.

제안 방법

• 반사층을 먼저 추정하고, 그 다음 감지층을 인식 및 잔차 학습을 통해 재구성하는 데 목적이 있는 세 단계의 딥 인코더-디코더 네트워크를 설계하였다.
• L1 손실과 가중치 λ=0.001를 가진 VGG 기반의 인지 손실을 조합한 손실 함수를 사용하여 엔드 투 엔드로 네트워크를 훈련시켰다.
• 합성 반사 오염 이미지를 물리적 이미지 형성 모델을 사용해 생성하였다: I = αT + βR + n, 여기서 α와 β는 투과율과 반사율이며, n은 노이즈이다.
• 실제 실외 및 실내 장면에서 무작위로 자르고 크기를 조정한 반사 이미지를 사용하여 블러 분산과 투과율 α (0.75–0.8)를 무작위로 샘플링하여 실제 변동성을 시뮬레이션하였다.
• 훈련 데이터는 66,540장의 합성 이미지(128×128)와 테스트용 22,110장의 이미지로 구성되었으며, 무작위 자르기 및 크기 조정을 통한 데이터 증강 기법을 적용하였다.
• Adam 최적화기를 사용하였으며, 학습률 10⁻⁴, β₁=0.9, 배치 크기 64로 설정하고, TITAN X GPU에서 150 에포크 동안 훈련하였다.

실험 결과

연구 질문

• RQ1 합성 데이터로만 훈련된 딥 러닝 모델이 실세계 단일 이미지 반사 제거에 효과적으로 일반화될 수 있는가?
• RQ2 반사 성분의 부드러움이나 흩어름ness 등의 명시적 사전 지식에 의존하는 기존 방법보다 데이터 기반 접근법이 더 우수한 성능을 낼 수 있는가?
• RQ3 물리적 이미지 형성 모델을 효과적으로 활용하여 반사 제거를 위한 현실적인 훈련 데이터를 합성할 수 있는가?
• RQ4 실세계 이미지에서 PSNR와 시각적 품질 측면에서 최신 기술과 비교해 본 결과, 제안된 방법은 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 합성 이미지에서 PSNR 29.08을 달성하여 [5] (19.72)와 [7] (19.82)를 크게 앞서 간다.
• [41]의 벤치마크 데이터셋에서, 방법은 PSNR 18.70을 기록하여 [5] (16.85)와 [7] (18.29)를 초월한다.
• 실세계 이미지로의 일반화 능력이 뛰어나, 반사 성분이 강하거나 부드럽지 않은 경우에도 [7]이 비부드러운 조건에서 실패하는 것과는 달리 뛰어난 시각적 결과를 생성한다.
• [5]가 심각한 세부 정보 손실을 겪고 자연스럽지 않은 출력을 생성하는 데 비해, 본 방법은 더 나은 세부 정보 보존 능력을 보인다.
• 처리 시간이 효율적이며, 128×128 이미지에 약 0.6초, 512×512 이미지에 약 2초가 소요된다.
• 반사 성분의 부드러움에 대한 가정 없이도 작동하므로, 다양한 실세계 반사 패턴에 대해 강건한 성능을 보인다.