[논문 리뷰] A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing

Qingnan Fan, Jiaolong Yang외 3명|arXiv (Cornell University)|2017. 08. 11.

Image Enhancement Techniques참고 문헌 5인용 수 25

한 줄 요약

이 논문은 캐스케이드된 CNN을 통해 에지 맵을 예측한 후 그 에지를 사용해 이미지를 재구성함으로써 반사 현상 제거 및 이미지 스무딩을 수행하는 일반적인 딥러닝 아키텍처인 CEILNet을 제안한다. 이 방법은 수작업으로 구성된 구성 요소 없이도 두 작업 모두에서 최신 기술 수준의 성능을 달성하며, 반사 제거를 위한 새로운 약한 지도 학습 전략을 사용하여 합성 반사 데이터를 활용한다.

ABSTRACT

This paper proposes a deep neural network structure that exploits edge information in addressing representative low-level vision tasks such as layer separation and image filtering. Unlike most other deep learning strategies applied in this context, our approach tackles these challenging problems by estimating edges and reconstructing images using only cascaded convolutional layers arranged such that no handcrafted or application-specific image-processing components are required. We apply the resulting transferrable pipeline to two different problem domains that are both sensitive to edges, namely, single image reflection removal and image smoothing. For the former, using a mild reflection smoothness assumption and a novel synthetic data generation method that acts as a type of weak supervision, our network is able to solve much more difficult reflection cases that cannot be handled by previous methods. For the latter, we also exceed the state-of-the-art quantitative and qualitative results by wide margins. In all cases, the proposed framework is simple, fast, and easy to transfer across disparate domains.

연구 동기 및 목표

• 실제 데이터가 제한된 낮은 수준의 비전 작업인 단일 이미지 반사 제거의 과제를 해결한다.
• 다양한 에지 민감한 이미지 처리 작업에 일반화되는 일반적인 딥러닝 프레임워크를 개발한다.
• 반사 제거를 위한 진정한 지도 데이터 부족 문제를 해결하기 위해 합성 반사 데이터를 활용한 약한 지도 학습 전략을 도입한다.
• 여러 가지 기존 필터를 종합적으로 근사함으로써 이미지 스무딩에서 최신 기술 수준의 성능을 달성한다.
• 수작업으로 구성된 이미지 처리 모듈에 의존하지 않고, 종단 간 학습이 가능한 파이프라인에서 오직 스택된 컨볼루션 레이어만을 사용한다.

제안 방법

• 두 단계로 구성된 캐스케이드 네트워크 설계: 먼저 깊이 지도 학습된 CNN을 통해 인접한 픽셀 간의 색상 차이인 에지 맵을 예측하고, 그 예측된 에지를 사용해 타겟 이미지를 재구성한다.
• 응용 분야에 특화되거나 수작업으로 구성된 구성 요소 없이 표준 컨볼루션 레이어만을 사용하여 단순성과 이식 가능성을 확보한다.
• 반사 제거 브랜치를 합성 반사 성질을 모방하는 새로운 합성 데이터 생성 방법을 사용해 훈련하며, 이는 약한 지도 학습으로 기능한다.
• 반사 층이 배경 층보다 더 부드럽다는 가정을 활용하여, 이를 에지 예측 및 재구성에 유도한다.
• 에지 예측 및 이미지 재구성 단계를 함께 최적화하는 종단 간 지도 학습을 통해 합성 데이터 기반으로 네트워크를 훈련한다.
• 필터링된 이미지에 대해 재학습함으로써 동일한 아키텍처를 이미지 스무딩에 적용하여 L0, L1, RTV, RGF, WLS 필터를 근사한다.

실험 결과

연구 질문

• RQ1 다중 입력이나 사용자 애너테이션 없이도 일반적인 딥러닝 아키텍처가 단일 이미지 반사 제거를 효과적으로 해결할 수 있는가?
• RQ2 실제 진정한 지도 데이터가 없을 경우 반사 제거를 위해 딥 네트워크를 어떻게 효과적으로 훈련시킬 수 있는가?
• RQ3 단일 에지 인식 아키텍처가 반사 제거 및 이미지 스무딩과 같은 다양한 저수준 비전 작업에 일반화될 수 있는가?
• RQ4 캐스케이드된 에지 및 이미지 학습 프레임워크가 정량적 및 정성적 지표에서 기존 방법보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ5 물리적 반사 성질을 모델링한 합성 데이터의 사용이 실제 반사 케이스에 대한 강건한 일반화를 가능하게 하는가?

주요 결과

• CEILNet은 L0, L1, RTV, RGF, WLS 필터 근사에서 PSNR와 시각적 품질 모두에서 이전 방법을 능가하는 최신 기술 수준의 성능을 달성한다.
• L0 스무딩 벤치마크에서 CEILNet은 '건물' 세트에서 38.04 dB, '유적' 세트에서 37.39 dB, '초원' 세트에서 37.10 dB의 PSNR를 기록하여 Xu et al. [11]과 Liu et al. [6]를 모두 능가한다.
• 반사 제거 작업에서 CEILNet은 에지 감독 없이도 CEILNet-naïve 및 I-CNN를 크게 능가하며, 강한 비균일 반사가 있는 복잡한 실제 케이스에서 특히 두각을 나타낸다.
• 실제 이미지(예: 박물관이나 비행기의 유리 너머로 찍힌 이미지)에서 반사를 성공적으로 제거하여 시각적으로 깔끔한 배경 재구성을 만들어내며, 진정한 지도 데이터가 없더라도 가능하다.
• 합성 데이터 생성 방법은 효과적인 약한 지도 학습을 가능하게 하여, 실제 훈련 데이터 없이도 실제 반사 사례에 대한 일반화 능력을 확보한다.
• CEILNet은 강력한 이식 가능성을 보이며, 동일한 아키텍처와 훈련 파라미터가 반사 제거 및 이미지 스무딩에 대해 최소한의 수정만으로도 성공적으로 적용된다.