[논문 리뷰] Unsupervised Single-Image Reflection Separation Using Perceptual Deep Image Priors

Su Hong Kim, Hamed RahmaniKhezri외 2명|arXiv (Cornell University)|2020. 09. 01.

Image Enhancement Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 퍼셉추얼 딥 이미지 프리유지(Perceptual Deep Image Priors, Perceptual DIP)를 사용하여 레이어 분리에 대한 첫 번째 비지도(single-image) 단일 이미지 반사 분리 방법을 제안한다. 두 개의 상호작용하는 딥 네트워크가 함께 최적화되어 학습 데이터 없이 배경 및 반사 레이어를 분리한다. 사전 훈련된 분류기에서 추출한 의미적 특징을 통합하고, 교차 피드백과 균형 파라미터 α를 사용한 다중 손실 최적화를 통해 실재 및 합성 이미지에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 레이블이 없는 데이터나 반사 성질에 대한 가정이 필요 없이도 초과하는 성능을 발휘한다.

ABSTRACT

Reflections often degrade the quality of the image by obstructing the background scene. This is not desirable for everyday users, and it negatively impacts the performance of multimedia applications that process images with reflections. Most current methods for removing reflections utilize supervised-learning models. However, these models require an extensive number of image pairs to perform well, especially on natural images with reflection, which is difficult to achieve in practice. In this paper, we propose a novel unsupervised framework for single-image reflection separation. Instead of learning from a large dataset, we optimize the parameters of two cross-coupled deep convolutional networks on a target image to generate two exclusive background and reflection layers. In particular, we design a new architecture of the network to embed semantic features extracted from a pre-trained deep classification network, which gives more meaningful separation similar to human perception. Quantitative and qualitative results on commonly used datasets in the literature show that our method's performance is at least on par with the state-of-the-art supervised methods and, occasionally, better without requiring large training datasets. Our results also show that our method significantly outperforms the closest unsupervised method in the literature for removing reflections from single images.

연구 동기 및 목표

• 대규모 레이블이 부여된 데이터셋이나 추가적인 가정에 의존하지 않고 단일 이미지 반사 분리 문제를 해결하고자 한다.
• 심층 이미지 프리유지를 활용하면서도 고수준의 의미적 정보를 통합하여 더 인지적으로 의미 있는 분리를 가능하게 하고자 한다.
• 쌍체 훈련 데이터가 필요 없도록, 퍼셉추얼 및 구조적 프리유지를 기반으로 한 비지도 최적화 프레임워크를 통해 학습 데이터를 제거하고자 한다.
• 반복 실행 시나 약한 반사 케이스에서의 안정성과 일관성을 향상시키고자 한다.

제안 방법

• 사전 훈련된 이미지 분류 네트워크의 특징 맵을 생성자 네트워크에 통합하여 고수준 의미적 특징을 임bedding하는 새로운 아키텍처인 퍼셉추얼 딥 이미지 프리유지(Perceptual DIP)를 제안한다.
• 상호작용하는 두 개의 퍼셉추얼 딥 이미지 프리유지 네트워크를 활용하여 피드백 메커니즘을 통해 배경 및 반사 레이어를 함께 최적화함으로써 분리 품질을 향상시킨다.
• 각 네트워크의 역할(배경 또는 반사)을 할당하기 위해 균형 파라미터 α를 도입하여 학습을 안정화시키고, 특히 약한 반사의 경우에 발생할 수 있는 열악한 해를 방지한다.
• 재구성 손실, 배제 손실, 교차 피드백 손실, 정규화 손실을 포함한 다중 손실 최적화 기법을 사용하여 분해 과정을 안내한다.
• 사전 훈련된 네트워크의 특징을 사용한 퍼셉추얼 손실을 적용하여 생성된 레이어 간의 구조적 및 의미적 일관성을 확보한다.
• 사전 훈련이나 미세조정 없이 입력 이미지에 직접 네트워크 파라미터를 최적화하며, 네트워크 아키텍처의 인덕티브 바이어스와 손실 함수에만 의존한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 훈련 데이터 없이도 비지도 방식으로 반사 분리를 효과적으로 달성할 수 있는가?
• RQ2 저수준의 이미지 프리유지 외에 고수준의 의미적 프리유지를 통합하면, 단순히 저수준 프리유지만을 사용할 경우에 비해 반사 분리의 인지적 품질을 향상시킬 수 있는가?
• RQ3 배경 및 반사 네트워크 간의 상호작용 최적화가 분리의 안정성 향상과 모호성 감소에 어떻게 기여하는가?
• RQ4 균형 파라미터 α는 최적화 과정을 안정화시키고, 특히 약한 반사 상황에서 열악한 해를 방지하는 데 기여하는가?
• RQ5 실제 및 합성 이미지에서 제안된 방법이 지도 및 비지도 최신 기술 수준의 방법과 정량적·정성적으로 비교해 볼 때 어떤가?

주요 결과

• 제안된 방법은 훈련 데이터가 전혀 없는 상황에서도 실재 및 합성 데이터셋에서 최신 기술 수준의 지도 기반 방법과 동등하거나 더 뛰어난 성능을 달성한다.
• 제안된 방법은 단일 이미지로만 작동하지만, 추가 입력 이미지가 필요한 가장 가까운 비지도 기반 기반선(Gandelsman et al., 2019)보다 뚜렷이 뛰어난 성능을 발휘한다.
• 균형 파라미터 α(0.1로 설정)의 포함으로 인해 학습이 안정화되고, 특히 약한 반사의 경우 반복 실행 간 일관성 없는 출력을 방지한다.
• 교차 피드백 메커니즘이 수렴 속도와 안정성을 향상시키며, 반사 레이어의 기울기 정보가 흐린 경우에 특히 유익하다.
• 재구성, 배제, 교차 피드백, 정규화 손실의 전체 조합이 가장 우수한 결과를 내며, 색상과 형태의 명확한 분리로 부분적인 손실 조합 대비 잡음 감소를 확인할 수 있다.
• 절단 실험을 통해 재구성 손실이 필수적임을 확인하였고, 배제 및 교차 피드백 손실을 추가함으로써 콘텐츠 분리 및 구조적 충실도가 크게 향상됨을 입증하였다.