[논문 리뷰] High-Resolution Image Harmonization via Collaborative Dual Transformations

Wenyan Cong, Xinhao Tao외 5명|arXiv (Cornell University)|2021. 09. 14.

Advanced Image Processing Techniques참고 문헌 10인용 수 7

한 줄 요약

이 논문은 고해상도 이미지 히아모니제이션을 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크인 CDTNet을 제안한다. 이는 협업 이중 학습을 통해 픽셀 간 변환과 RGB 간 변환을 통합한다. 저해상도 U-Net 생성자, 기저 LUTs를 갖는 학습 가능한 색상 매핑 모듈 및 가중치 예측기, 경량 리파인먼트 모듈을 조합함으로써, 고해상도(최대 2048×2048) 이미지에서 최신 기술 수준의 성능을 달성하면서도 계산 비용과 메모리 사용을 크게 줄였다.

ABSTRACT

Given a composite image, image harmonization aims to adjust the foreground to make it compatible with the background. High-resolution image harmonization is in high demand, but still remains unexplored. Conventional image harmonization methods learn global RGB-to-RGB transformation which could effortlessly scale to high resolution, but ignore diverse local context. Recent deep learning methods learn the dense pixel-to-pixel transformation which could generate harmonious outputs, but are highly constrained in low resolution. In this work, we propose a high-resolution image harmonization network with Collaborative Dual Transformation (CDTNet) to combine pixel-to-pixel transformation and RGB-to-RGB transformation coherently in an end-to-end network. Our CDTNet consists of a low-resolution generator for pixel-to-pixel transformation, a color mapping module for RGB-to-RGB transformation, and a refinement module to take advantage of both. Extensive experiments on high-resolution benchmark dataset and our created high-resolution real composite images demonstrate that our CDTNet strikes a good balance between efficiency and effectiveness. Our used datasets can be found in https://github.com/bcmi/CDTNet-High-Resolution-Image-Harmonization.

연구 동기 및 목표

• 딥 러닝 분야에서 고해상도 이미지 히아모니제이션 방법의 부족을 해결하기 위해, 특히 실세계 복합 이미지에 대해.
• 기존 방법의 한계를 극복하기 위해: 픽셀 간 네트워크에서 유도하는 저해상도 출력과 RGB 간 변환에서 발생하는 전반적인 톤 불일치 문제를 해결하기 위해.
• 엔드 투 엔드 프레임워크 내에서 픽셀 수준의 변환과 전반적인 색상 변환을 통합하여 국소적 세부 사항과 전반적인 일관성을 모두 유지하기 위해.
• 고해상도 이미지에서 고품질 히아모니제이션을 유지하면서도 계산 비용과 메모리 사용을 줄이기 위해.
• 새로가 만들어진 고해상도 실 복합 이미지 데이터셋을 기반으로 성능 평가하기 위해.

제안 방법

• CDTNet은 입력을 저해상도로 다운샘플링한 후, 밀도 높은 픽셀 간 변환을 수행하는 저해상도 U-Net 생성자를 사용하여 세밀한 국소적 세부 사항을 유지한다.
• 색상 매핑 모듈은 공유 기저 LUTs와 U-Net 인코더 특징에서 유도된 학습 가능한 가중치 예측기를 사용하여 이미지별 RGB 간 변환을 학습한다.
• 가중치 예측기는 기저 LUTs의 조합 계수를 생성하여, 재학습 없이도 고해상도 입력에 대해 전반적인 색상 조정을 가능하게 한다.
• 경량 리파인먼트 모듈은 저해상도 픽셀 기반 출력, 고해상도 RGB 간 결과, 포스트그라운드 마스크, 업샘플링된 디코더 특징을 혼합 레이어를 사용해 융합한다.
• 리파인먼트 모듈은 연결과 잔차 학습을 사용하여 국소적 세부 사항을 향상시키면서도 색상 매핑 모듈에서 유도된 전반적인 톤을 유지한다.
• 전체 네트워크는 엔드 투 엔드로 학습되며, 저해상도 생성자와 색상 매핑 모듈이 함께 최적화되어 히아모니제이션 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 RGB 간 변환은 고해상도 이미지 히아모니제이션에 효과적으로 학습되고 적용될 수 있는가?
• RQ2 픽셀 수준의 변환과 전반적인 색상 변환을 어떻게 협업적으로 통합하여 고해상도 히아모니제이션에서 국소적 세부 사항과 전반적인 일관성을 동시에 향상시킬 수 있는가?
• RQ3 고해상도 환경에서 계산 효율성과 히아모니제이션 품질을 균형 있게 유지하는 데 최적의 아키텍처는 무엇인가?
• RQ4 경량 리파인먼트 모듈은 메모리나 FLOP 오버헤드를 증가시키지 않고도 고해상도 가이던스를 활용해 저해상도 출력을 효과적으로 향상시킬 수 있는가?
• RQ5 제안된 방법은 실세계 고해상도 복합 이미지에서 기존 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• CDTNet은 1024×1024 해상도에서 HAdobe5k 벤치마크에서 최신 기술 수준의 성능을 달성하여 PSNR 38.77과 SSIM 152.13을 기록했으며, 이는 이전 방법들을 능가한다.
• 절단 실험을 통해 리파인먼트 모듈의 혼합 레이어를 제거할 경우 성능이 크게 떨어지며, 이는 해당 구성 요소의 필수성을 입증한다.
• 2048×2048 히아모니제이션에서 FLOPs는 200G 이하, 메모리는 20GB 이하로 줄였으며, 이는 이전 최신 기술 수준 방법의 950G 이상 FLOPs와 20GB 메모리 사용에 비해 뚜렷한 개선이다.
• 공유 기저 LUT와 학습 가능한 가중치 예측기를 사용하는 것이 별도의 인코더나 전역 풀링을 사용하는 것보다 성능이 뛰어나, 공동 특징 학습의 이점을 보여준다.
• 100개의 실 고해상도 복합 이미지에 대한 사용자 연구 결과, CDTNet은 pix2pixHD와 iS2AM보다 더 시각적으로 타당한 결과를 생성함을 확인했다.
• 픽셀 간 학습을 저해상도로 제한하고 경량 리파인먼트 모듈을 사용함으로써 높은 효율성을 유지하여 실용적 구현이 가능해졌다.