[논문 리뷰] Learning Diverse Image Colorization

Aditya Deshpande, Jiajun Lu외 3명|arXiv (Cornell University)|2016. 12. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 8

한 줄 요약

이 논문은 변분 자동차오더(VAE)를 통해 색상 필드의 저차원 잠재 표현을 학습하고 입력 그레이스케일 특징과 잠재 코드 사이의 다중모드 조건부 분포를 모델링하여 단일 그레이스케일 이미지에 대해 다양하고 현실적인 색상화를 생성하는 방법을 제안한다. 이 방법은 표준 CVAE 및 cGAN 기반 베이스라인에 비해 더 높은 다양성과 공간적 일관성, 더 나은 인지적 품질을 보이며 예측의 분산이 더 크다.

ABSTRACT

Colorization is an ambiguous problem, with multiple viable colorizations for a single grey-level image. However, previous methods only produce the single most probable colorization. Our goal is to model the diversity intrinsic to the problem of colorization and produce multiple colorizations that display long-scale spatial co-ordination. We learn a low dimensional embedding of color fields using a variational autoencoder (VAE). We construct loss terms for the VAE decoder that avoid blurry outputs and take into account the uneven distribution of pixel colors. Finally, we build a conditional model for the multi-modal distribution between grey-level image and the color field embeddings. Samples from this conditional model result in diverse colorization. We demonstrate that our method obtains better diverse colorizations than a standard conditional variational autoencoder (CVAE) model, as well as a recently proposed conditional generative adversarial network (cGAN).

연구 동기 및 목표

• 단일 그레이스케일 입력에 대해 다수의 현실적이고 다양한 색상화를 생성하여 이미지 색상화의 본질적 모호성을 해결한다.
• 독립적인 픽셀 샘플링으로 인한 점박무늬 노이즈를 방지하기 위해 색상 필드의 장거리 공간 일관성을 모델링한다.
• 공간적 구조를 유지하면서 고해상도 복원이 가능한 저차원 잠재 표현을 학습한다.
• 그레이스케일 특징에서 유의미한 색상화 모드를 포괄하는 다중모드 조건부 모델 $P(\mathbf{z}|\mathbf{G})$ 를 구축한다.
• CVAE 및 cGAN과 같은 기존 방법을 개선하여 더 다양한, 인지적으로 자연스러운 색상화를 생성한다.

제안 방법

• 색상 필드 $\mathbf{C}$ 를 저차원 잠재 코드 $\mathbf{z}$ 로 압축하기 위해 VAE를 훈련시키며, 뿌연함을 줄이고 복원 정확도를 향상시키기 위해 특수한 디코더 손실을 도입한다.
• 불균형한 픽셀 색상 분포를 보다 잘 다루고 생생함을 유지하기 위해 특이성 손실과 색채다양성 가중 L1 손실을 도입한다.
• 공간적 정보와 색상 유사도 정보를 담고 있는 사전 훈련된 색상화 CNN의 conv-7 레이어에서 그레이스케일 이미지 특징 $\mathbf{G}$ 를 추출한다.
• 다중모드 조건부 분포 $P(\mathbf{z}|\mathbf{G})$ 를 모델링하기 위해 혼합 밀도 네트워크(MDN)를 사용하여 잠재 코드의 다양한 샘플링을 가능하게 한다.
• 테스트 시점에 다수의 $\mathbf{z}_k \sim P(\mathbf{z}|\mathbf{G})$ 를 샘플링하고 이를 복원하여 다양하고 공간적으로 일관된 색상화 $\mathbf{C}_k$ 로 변환한다.
• VAE 기반 복원과 조건부 모델링을 융합하여 색상화 출력의 다양성과 현실성의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 색상 필드에 대한 저차원 잠재 공간을 학습할 수 있는가? 이는 공간 일관성을 유지하고 고해상도 복원을 가능하게 해야 한다.
• RQ2 단일 그레이스케일 입력에서 다양하면서도 현실적인 색상화를 생성하기 위해 다중모드 조건부 모델 $P(\mathbf{z}|\mathbf{G})$ 를 어떻게 구성할 수 있는가?
• RQ3 색상 분포의 불균형과 공간 구조를 고려한 손실 함수는 생성된 색상화의 품질과 다양성에 어떻게 기여하는가?
• RQ4 이러한 방법은 CVAE 및 cGAN 기반 베이스라인에 비해 다양하고 인지적으로 타당한 색상화를 얼마나 잘 생성하는가?
• RQ5 정답 다양성이 제공되지 않을 경우, 생성된 색상화의 분산은 다양성의 지표로 얼마나 유의미한가?

주요 결과

• 제안된 방법은 CVAE 및 cGAN에 비해 더 높은 분산을 보이며 더 뛰어난 다양성을 나타내지만, 최고 성능의 오차는 지표와 유사하게 유지된다.
• 특이성 손실과 색채다양성 가중 L1 손실의 통합은 뿌연함을 감소시키고 특히 피부 톤과 잔디, 하늘 등 생생한 영역에서 인지적 품질을 향상시킨다.
• LFW 및 LSUN Church 데이터셋에서, 이는 이러한 지표를 최적화하기 위해 훈련된 것이 아니었음에도 불구하고 표준 L2 손실보다 더 낮은 평균 절대 오차와 가중 절대 오차를 기록한다.
• 정성적 결과는 다양하고 다양한 피부 톤, 옷 색상, 배경 톤을 가진 색상화를 보여주며, 다수의 타당한 모드를 효과적으로 모델링한 것을 입증한다.
• cGAN은 다양성을 생성하지 못하고 CVAE는 낮은 분산과 노이즈가 많은 출력을 내는 데 비해, 제안된 방법은 다양하고 아티팩트 없는 색상화를 더 잘 생성한다.
• VAE 기반의 잠재 공간은 고해상도 색상 필드 복원을 가능하게 하며, MDN 기반의 조건부 모델은 다중모드 의존성을 성공적으로 포착한다.