[논문 리뷰] Divide-and-Conquer Adversarial Learning for High-Resolution Image and Video Enhancement

Zhiwu Huang, Danda Pani Paudel외 4명|arXiv (Cornell University)|2019. 10. 23.

Advanced Image Processing Techniques참고 문헌 52인용 수 7

한 줄 요약

이 논문은 고해상도 이미지 및 영상 강화를 위한 약한 지도 학습 기반 딥러닝 프레임워크인 Divide-and-Conquer Adversarial Learning (DACAL)을 제안한다. 이는 인지-, 주파수-, 차원 기반의 하위 문제로 강화 작업을 계층적으로 분해한다. 다중 척도 및 순환 학습을 통합함으로써 DACAL은 인지 품질, 색상 충실도, 텍스처 선명도 및 시간적 일관성에서 최신 기술 수준(SOTA)의 성능을 달성하며, 이미지 및 영상 벤치마크에서 WESPE 및 DPE와 같은 기존 방법들을 능가한다.

ABSTRACT

This paper introduces a divide-and-conquer inspired adversarial learning (DACAL) approach for photo enhancement. The key idea is to decompose the photo enhancement process into hierarchically multiple sub-problems, which can be better conquered from bottom to up. On the top level, we propose a perception-based division to learn additive and multiplicative components, required to translate a low-quality image or video into its high-quality counterpart. On the intermediate level, we use a frequency-based division with generative adversarial network (GAN) to weakly supervise the photo enhancement process. On the lower level, we design a dimension-based division that enables the GAN model to better approximates the distribution distance on multiple independent one-dimensional data to train the GAN model. While considering all three hierarchies, we develop multiscale and recurrent training approaches to optimize the image and video enhancement process in a weakly-supervised manner. Both quantitative and qualitative results clearly demonstrate that the proposed DACAL achieves the state-of-the-art performance for high-resolution image and video enhancement.

연구 동기 및 목표

• 픽셀 단위로 쌍화된 데이터가 필요 없이 다양한 인지 품질(예: 낮은 조명, 낮은 대비, 노이즈 등)을 가진 고해상도 이미지 및 영상 강화 문제를 해결한다.
• 비용이 많이 들고 정렬된 저품질 및 고품질 이미지 쌍이 필요한 완전 지도 학습 방법의 한계를 극복한다.
• 다중 구성 요소 강화 및 고해상도 환경에서의 공간적/시간적 일관성 문제를 겪는 약한 지도 학습 기반 GAN 기반 방법의 한계를 개선한다.
• 공간적 및 시간적 일관성을 유지하면서도 확장 가능하고 안정적이며 인지적으로 강인한 강화 프레임워크를 개발한다.

제안 방법

• 인지 기반(加법 및 승법 성분), 주파수 기반(약한 지도 학습을 위한 GAN 활용), 차원 기반(개별 일차원 데이터 스트림 간의 분포 거리 근사화)의 세 가지 하위 문제로 강화 작업을 계층적으로 분해하는 전략을 제안한다.
• 공간 일관성을 해치는 다운스케일링 또는 패치 기반 처리를 방지하기 위해 고해상도 세부 정보를 유지하는 다중 척도 학습 전략을 도입한다.
• 프레임 수준의 특징 전파를 활용하여 영상 강화에서 시간적 일관성을 확보하기 위해 DACAL의 순환 확장 구조를 적용한다.
• 판별자는 고품질 이미지의 분포를 학습하고 생성자는 저품질 입력을 인지적으로 현실적인 출력으로 매핑하도록 유도하는 약한 지도 학습 기반 GAN 목표 함수를 사용한다.
• 조명, 색상 및 텍스처 조정을 별개이지만 상호의존적인 구성 요소로 모델링하기 위해 인지 기반 분해를 활용한다.
• 독립적인 일차원 데이터 스트림 간의 분포 거리 근사를 통해 GAN 학습 안정성을 향상시키기 위해 차원 기반 분해를 활용한다.

실험 결과

연구 질문

• RQ1 인지-, 주파수-, 차원 기반 하위 문제로 분해된 고해상도 이미지 강화 작업이 약한 지도 학습 기반 GAN 기반 강화 모델의 성능 향상에 기여하는가?
• RQ2 다중 척도 및 순환 학습 전략은 고해상도 이미지 및 영상 강화에서 공간적 및 시간적 일관성을 어떻게 향상시키는가?
• RQ3 제안된 DACAL 프레임워크는 인지 품질 및 아티팩트 감소 측면에서 기존의 약한 지도 학습 기반 방법들인 WESPE 및 DPE에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 분할-정복 철학은 고해상도 강화 작업에서 학습 안정성 향상 및 분포 근사 향상에 효과적으로 적용될 수 있는가?

주요 결과

• DACAL은 전체 계층적 분해(l+f+d)를 사용하여 DPED 데이터셋에서 PSNR 20.90과 SSIM 0.874를 달성하며, WESPE(17.45 PSNR) 및 DPE(18.53 PSNR)를 크게 앞서는 성능을 보였다.
• HuaweiM20Pro-Flickr 데이터셋에서 사용자 연구 결과, DACAL은 입력 이미지 대비 366:34의 선호 비율을 기록했으며, WESPE(341:59) 및 DPE(360:40)를 모두 능가하는 인간 인지 성능을 보였다.
• 영상 강화에서 DACAL의 순환 변형은 DPE와 같은 프레임 기반 방법 대비 시간적 아티팩트와 움직이는 객체의 일관성 없는 표현을 줄였으며, 고품질 기준 영상으로의 정밀 조정 후 특히 뚜렷한 개선이 관찰되었다.
• 정성적 결과 분석에서 DACAL은 특히 저조도 및 과노출 영역에서 뛰어난 색상 렌더링, 텍스처 선명도 및 조명 조정 성능을 보였다.
• WESPE의 일반적인 결함인 과노출 및 DPE의 한계인 텍스처 열화 문제를 효과적으로 방지함으로써 다양한 이미지 조건에서 강인함을 입증했다.
• 사용자 연구 결과, DPED 데이터셋에서 DACAL은 Adobe의 전문 리터치 기법 대비 400명 중 395명이 선호하는 것으로 나타나 강력한 인지적 우월성을 입증했다.