[논문 리뷰] Simultaneously Color-Depth Super-Resolution with Conditional Generative Adversarial Network

Lijun Zhao, Huihui Bai외 4명|arXiv (Cornell University)|2017. 08. 30.

Advanced Image Processing Techniques참고 문헌 3인용 수 13

한 줄 요약

이 논문은 조건부 생성 적대 신경망(CDcGAN)을 제안하여 동시에 색상 및 깊이 이미지의 초해상도를 향상시키며, 저해상도 색상 및 깊이 이미지 간의 상호정보를 활용하여 적대적, 데이터, 총 변동성 및 기울기 차이 손실을 통해 두 이미지의 품질을 향상시킨다. 이 방법은 최신 기술 대비 뛰어난 시각적 품질과 날카운 이미지를 달성하며, 동시에 이미지의 평활화 및 윤곽 검출 기능을 성공적으로 수행한다.

ABSTRACT

Recently, Generative Adversarial Network (GAN) has been found wide applications in style transfer, image-to-image translation and image super-resolution. In this paper, a color-depth conditional GAN is proposed to concurrently resolve the problems of depth super-resolution and color super-resolution in 3D videos. Firstly, given the low-resolution depth image and low-resolution color image, a generative network is proposed to leverage mutual information of color image and depth image to enhance each other in consideration of the geometry structural dependency of color-depth image in the same scene. Secondly, three loss functions, including data loss, total variation loss, and 8-connected gradient difference loss are introduced to train this generative network in order to keep generated images close to the real ones, in addition to the adversarial loss. Experimental results demonstrate that the proposed approach produces high-quality color image and depth image from low-quality image pair, and it is superior to several other leading methods. Besides, we use the same neural network framework to resolve the problem of image smoothing and edge detection at the same time.

연구 동기 및 목표

• 3D 비디오 응용 분야에서 저해상도 색상 및 깊이 이미지를 동시에 향상시키는 과제를 해결한다.
• 색상 및 깊이 이미지 간의 구조적 및 기하학적 의존성을 활용하여 초해상도 성능을 향상시킨다.
• 기존 방법이 초해상도 깊이 이미지에서 질감 복사 아티팩트와 흐린 윤곽을 앓는 문제를 극복한다.
• 초해상도, 평활화, 윤곽 검출 등의 다양한 이미지 복원 작업을 동시에 처리할 수 있는 통합적인 딥 러닝 프레임워크를 개발한다.
• 평균 제곱오차 기반 최적화를 넘어서 시각적 품질 향상과 고주파 세부 정보 복원을 향상시킨다.

제안 방법

• 저해상도 색상 및 깊이 이미지 쌍을 조건으로 하는 조건부 GAN 아키텍처(CDcGAN)를 제안하여 고해상도 출력을 생성한다.
• 학습 안정성 향상과 현실성 향상을 위해 적대적 손실 외에 데이터 손실, 총 변동성(TV) 손실, L1 노름을 사용한 8연결 기울기 차이 손실을 통합한다.
• 스킵 연결과 잔차 학습을 활용하여 세부 정보를 유지하고 다중 해상도 간의 효과적인 특징 전파를 가능하게 한다.
• 결합된 손실 함수를 최소화하여 생성자에게 고해상도 색상 및 깊이 이미지를 재구성하도록 훈련시켜, 구조 일致성과 윤곽의 날카움을 촉진한다.
• 학습된 CDcGAN을 이용해 학습된 기울기 및 구조적 특징을 활용하여 이미지 평활화 및 윤곽 검출 등의 후행 작업을 수행한다.
• 이미지 도메인과 기울기 도메인 양쪽에 네트워크를 적용하여 L0 최소화와 유사한 윤곽 유지 평활화를 달성한다.

실험 결과

연구 질문

• RQ1 색상 및 깊이 이미지 간의 구조적 의존성을 활용하여 조건부 GAN이 동시에 초해상도를 효과적으로 학습할 수 있는가?
• RQ2 보조 손실(TV, 기울기 차이, 데이터 손실)이 초해상도에서 시각적 품질 향상과 아티팩트 감소에 기여하는 방식은 무엇인가?
• RQ3 제안된 방법이 기존의 필터 기반, 최적화 기반, CNN 기반의 통합 초해상도 기법들보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 동일한 학습된 아키텍처가 이미지 평활화 및 윤곽 검출과 같은 관련 이미지 복원 작업에 효과적으로 재사용될 수 있는가?
• RQ5 이 방법은 초해상도 깊이 이미지에서 흔히 발생하는 질감 복사 및 깊이 누출 아티팩트를 완화하는가?

주요 결과

• CDcGAN는 PSNR 및 SSIM 점수는 다소 낮지만, SRCNN 및 VDSR 대비 색상 및 깊이 초해상도 이미지의 더 높은 시각적 품질과 날카운 윤곽을 제공한다.
• 시각적 결과에서 CDcGAN는 SRCNN 및 기타 베이스라인 방법에서 흔히 발생하는 심각한 아티팩트를 피하고, 특히 고주파 영역에서 유의미하게 개선된다.
• 이 방법은 더 뛰어난 깊이 이미지 품질을 달성하여 경계가 더 선명하고 누출 아티팩트가 감소하여 전경 추출 및 깊이 기반 렲영과 같은 후행 응용 분야에서 성능 향상을 이룬다.
• 이미지 평활화 및 윤곽 검출에 대해 잘 일반화되어 있으며, 기울기 도메인에서 L0 기울기 최소화와 유사한 결과를 도출한다.
• TV 손실과 8연결 기울기 차이 손실의 사용은 아티팩트를 크게 감소시키고 윤곽 유지 성능을 향상시켜, 단순히 L2 또는 L1 데이터 손실에 의존하는 방법보다 뛰어나다.
• HQDU 및 MRF와 같은 고급 최적화 기반 방법들조차도 고해상도 색상 이미지를 사전으로 사용하지만, CDcGAN는 그에 비해 뛰어난 성능을 보이며, 이는 그 강건성과 효율성을 시사한다.