[논문 리뷰] "Double-DIP": Unsupervised Image Decomposition via Coupled Deep-Image-Priors

Yossi Gandelsman, Assaf Shocher외 1명|arXiv (Cornell University)|2018. 12. 02.

Image Enhancement Techniques인용 수 6

한 줄 요약

이 논문은 단일 이미지를 복잡한 통합 이미지에서 더 단순하고 통계적으로 구분되는 층으로 분해할 수 있는 통합된 비지도 학습 프레임워크인 Double-DIP을 제안한다. 이는 훈련 데이터 없이도 작동한다. 이미지 패치의 내부 자기 유사성과 마스크를 통해 두 DIP 생성자 네트워크를 동시에 최적화함으로써, 안개 제거, 배경-전경 분할, 워터마크 제거, 투명도 분리 등에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다. 특히, 새로운 이미지에 대해서도 전문화된 방법들을 능가하는 성능을 보인다.

ABSTRACT

Many seemingly unrelated computer vision tasks can be viewed as a special case of image decomposition into separate layers. For example, image segmentation (separation into foreground and background layers); transparent layer separation (into reflection and transmission layers); Image dehazing (separation into a clear image and a haze map), and more. In this paper we propose a unified framework for unsupervised layer decomposition of a single image, based on coupled "Deep-image-Prior" (DIP) networks. It was shown [Ulyanov et al] that the structure of a single DIP generator network is sufficient to capture the low-level statistics of a single image. We show that coupling multiple such DIPs provides a powerful tool for decomposing images into their basic components, for a wide variety of applications. This capability stems from the fact that the internal statistics of a mixture of layers is more complex than the statistics of each of its individual components. We show the power of this approach for Image-Dehazing, Fg/Bg Segmentation, Watermark-Removal, Transparency Separation in images and video, and more. These capabilities are achieved in a totally unsupervised way, with no training examples other than the input image/video itself.

연구 동기 및 목표

• 안개 제거, 분할, 투명도 분리 등 다양한 이미지 분해 작업을 하나의 비지도 프레임워크로 통합하는 것.
• 라벨이나 쌍화된 훈련 데이터 없이 단일 이미지를 구성 요소 층으로 분해하는 과제를 해결하는 것.
• 혼합된 입력 이미지보다 개별 층이 더 단순한 통계적 특성을 가지므로, 이미지 패치의 내부 자기 유사성을 활용하는 것.
• 특화된 최신 기술 수준의 방법들과 경쟁하거나 그들을 능가하는 일반 목적의 방법을 개발하는 것 — 이미지 안개 제거와 같은 핵심 과제에서

제안 방법

• 두 개의 딥이미지프리우르(DIP) 생성자 네트워크를 사용하여, 서로 다른 두 개의 이미지 층으로부터 입력 이미지를 동시에 재구성하고, 마스크를 통해 그 혼합 비율을 제어한다.
• 재구성 과정을 입력 이미지와 재구성된 이미지 간의 MSE 손실 최소화로 공식화하며, 재구성된 이미지는 두 DIP 출력의 마스크된 합으로 구성된다.
• 혼합된 이미지의 내부 패치 분포는 개별 구성 요소보다 더 복잡하므로, DIP가 자연스럽게 더 단순한 층으로 분리될 수 있도록 활용한다.
• 안개 밀도 층에 정규화 손실을 적용하여 부드러움과 初기 전역 안개 밀도 추정치에 가까워짐을 강제함으로써, 비균일한 안개 복원에 필수적인 요건을 확보한다.
• 특히 안개 제거 작업에서 전달도 지도가 부드러워야 하므로, 마스크에 라플라시안 기반 정규화를 적용하여 공간적 부드러움을 증진시킨다.
• 쌍체 DIP를 확률적 경사 하강법을 사용해 엔드 투 엔드로 훈련하며, 쌍화되거나 레이블이 지정된 데이터가 필요 없고, 오직 입력 이미지만이 지도로 사용된다.

실험 결과

연구 질문

• RQ1 단일 이미지의 내부 통계만을 사용하여도 다양한 이미지 분해 과제(예: 안개 제거, 분할, 투명도 분리)를 통합된 비지도 프레임워크로 분해할 수 있는가?
• RQ2 혼합된 층과 개별 층 간의 내부 패치 복잡성 차이를 활용함으로써, 단일 DIP보다 다수의 DIP 네트워크를 결합함으로써 더 나은 분해 성능를 달성할 수 있는가?
• RQ3 Double-DIP는 비균일한 안개 밀도 지도를 복원할 수 있는가? 이는 균일한 안개 밀도를 가정하는 기존 방법들이 실패하는 경우에 유용하다.
• RQ4 Out-of-distribution 이미지에서 전문화된 최신 기술 수준의 안개 제거 방법과 비교해 볼 때, Double-DIP의 시각적 품질과 내구성은 어떠한가?
• RQ5 특화된 미세조정이나 레이블이 없는 데이터 없이도 이 프레임워크는 과제 간에 일반화 가능한가?

주요 결과

• O-HAZE 데이터셋에서 Double-DIP는 PSNR 18.815를 기록하여 모든 안개 제거 방법 중 두 번째로 높은 순위를 기록했으며, 특히 새로운 이미지에 대해서는 최신 기술 수준의 방법들보다도 뛰어난 시각적 품질을 보였다.
• Double-DIP는 비균일한 안개 밀도 지도를 성공적으로 복원하여, 아침/저녁과 같은 도전적인 조명 조건에서 고품질의 안개 제거를 가능하게 하였다. 이는 균일한 안개 밀도를 가정하는 방법들이 실패하는 상황에서 특히 유의미하다.
• NTIRE’2018과 같은 벤치마크의 제한된 테스트 세트에 과적합되는 경향이 있는 전문화된 안개 제거 네트워크와는 달리, Double-DIP는 out-of-distribution 이미지에서 성능을 뛰어나게 유지하거나 그에 준하는 성능을 기록하였다.
• 훈련 데이터 없이도 전경-배경 분할, 워터마크 제거, 투명도 분리 등 여러 비지도 과제에서 뛰어난 성능을 기록하였다.
• 내부 자기 유사성과 패치 반복성을 결합된 DIP를 통해 효과적으로 활용함으로써, 통합적이고 엔드 투 엔드 방식으로 다양한 역문제를 해결할 수 있음을 입증하였다.
• 초기 추정치에 가까운 안개 밀도 층을 유지하기 위한 정규화 항목을 추가함으로써, 색상 충실도 향상과 잡음 감소 측면에서 안개 제거 품질이 크게 향상되었다.