[논문 리뷰] DeepHist: Differentiable Joint and Color Histogram Layers for Image-to-Image Translation

Mor Avi-Aharon, Assaf Arbelle외 1명|arXiv (Cornell University)|2020. 05. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 16

한 줄 요약

DeepHist는 이미지 간 번역을 위한 미분 가능한 동시 히스토그램 및 색상 히스토그램 레이어를 도입하여, 색상 분포 일치를 위한 지구 이동 거리(EMD)와 구조 보존을 위한 상호정보(MI)를 사용하는 엔드 투 엔드 훈련을 가능하게 한다. 이 방법은 쌍이 맞는 실사 이미지가 필요 없이도 색상 이동, 이미지 색상화, 에지에서 사진으로의 번역에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present the DeepHist - a novel Deep Learning framework for augmenting a network by histogram layers and demonstrate its strength by addressing image-to-image translation problems. Specifically, given an input image and a reference color distribution we aim to generate an output image with the structural appearance (content) of the input (source) yet with the colors of the reference. The key idea is a new technique for a differentiable construction of joint and color histograms of the output images. We further define a color distribution loss based on the Earth Mover's Distance between the output's and the reference's color histograms and a Mutual Information loss based on the joint histograms of the source and the output images. Promising results are shown for the tasks of color transfer, image colorization and edges $ ightarrow$ photo, where the color distribution of the output image is controlled. Comparison to Pix2Pix and CyclyGANs are shown.

연구 동기 및 목표

• 쌍이 맞는 실사 이미지가 없는 이미지 간 번역 작업, 예를 들어 색상 이동 및 이미지 색상화를 해결하기 위해.
• 딥러닝 프레임워크에서 전통적인 히스토그램 계산의 비미분 가능성 문제를 해결하기 위해.
• 픽셀 단위의 감독이 불가능한 상황에서 원본 이미지와 생성된 이미지 간의 상호정보를 사용하여 구조적 콘텐츠를 보존하기 위해.
• L1 손실 기반 방법은 그늘지거나啡갈색 톤의 출력을 유도하는 경향이 있기 때문에, 이를 초월하여 현실성과 색상 다양성을 향상시키기 위해.
• 적대적 훈련과 호환되는 히스토그램 기반 손실을 사용하여 엔드 투 엔드 훈련을 가능하게 하기 위해.

제안 방법

• 히스토그램 연산을 통해 미분 가능한 동시 및 색상 히스토그램 레이어를 도입하여, 백프로파게이션 동안 히스토그램 연산을 거쳐갈 수 있도록 한다.
• 생성된 이미지의 색상 히스토그램과 기준 이미지의 히스토그램 간의 지구 이동 거리(EMD)를 색상 분포 손실로 사용한다.
• 원본 이미지와 생성된 이미지 간의 상호정보(MI)를 구조 유사성 손실로 사용하여 콘텐츠 보존을 도모한다.
• EMD, MI 및 적대적(GAN) 손실을 통합된 훈련 목표로 조합하여 색상 정확도, 콘텐츠 충실도 및 현실성 간 균형을 이룬다.
• 히스토그램 레이어를 생성자 네트워크 내부에 적용하여, 역전파 동안 히스토그램 계산을 통해 기울기가 흐르도록 한다.
• YUV 색상 공간 분석을 통해 색상 분포 충실도, 특히 색채도(U, V) 채널을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크에 미분 가능한 히스토그램 계산을 통합하여 이미지 간 번역을 위한 엔드 투 엔드 훈련을 가능하게 할 수 있는가?
• RQ2 쌍이 맞는 실사 이미지가 없는 상황에서 지구 이동 거리(EMD) 손실이 색상 분포 이동을 효과적으로 이끌 수 있는가?
• RQ3 픽셀 단위의 감독이 없는 상황에서 상호정보(MI) 손실이 구조적 콘텐츠를 보존할 수 있는가?
• RQ4 EMD, MI 및 GAN 손실은 어떻게 상호작용하여 이미지의 현실성과 색상 정확도를 향상시키는가?
• RQ5 제안된 방법은 Pix2Pix와 같은 L1 손실 기반 모델을 초월하여 다채롭고 현실적인 이미지를 생성할 수 있는가?

주요 결과

• DeepHist 모델은 인간 평가에서 생성된 이미지를 '진짜'로 인식시키는 데 51.9%의 성공률를 기록하여 강력한 인지적 현실성을 입증했다.
• 제거 실험에서는 MI 손실을 제거할 경우 콘텐츠 보존 성능이 심각하게 악화되었고, EMD 또는 GAN 손실을 생략할 경우 색상 분포 일치가 떨어지거나 시각적 결함이 발생했다.
• 모든 세 가지 손실(EMD, MI, GAN)을 사용할 경우 생성된 이미지와 원본 이미지 간의 MSE는 0.018 (±0.010)로 감소했으며, MI 손실이 없는 경우 0.024, EMD 손실이 없는 경우 0.053로 상대적으로 높았다.
• YUV 공간에서의 색상 분포 분석 결과, DeepHist는 Pix2Pix보다 색채도(U, V) 분포를 더 잘 유지하는 것으로 나타났다.
• 지침이 없는 설정에서도 색상 이동 및 에지에서 사진으로의 번역과 같은 작업에서 실제 타겟 이미지가 필요 없이 성공적으로 색상 이동을 수행했다.
• EMD와 MI 손실의 조합은 L1 손실 기반 모델에서 흔히 발생하는 회색 또는 갈색 톤의 경향을 크게 감소시켰다.