[논문 리뷰] Unsupervised Diverse Colorization via Generative Adversarial Networks

Yun Cao, Zhiming Zhou외 2명|arXiv (Cornell University)|2017. 02. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 21

한 줄 요약

이 논문은 조건부 생성 적대 신경망(cGANs)을 사용하여 단일 회색조 이미지에서 다수의 현실적이고 다양한 색조를 생성하는 비지도 다양한 색조화 방법을 제안한다. 완전 컨volutional 생성자에 다중 레이어 노이즈 주입과 다중 레이어 조건 결합을 적용함으로써, 모델은 공간적 세부 정보와 현실성을 유지하면서도 색조의 다양성을 향상시켰으며, 인간이 구분할 수 없는 결과를 달성하여 튜링 테스트에서 62.6%의 설득력 있는 피드백을 얻었고, 실제 이미지와 유의미한 차이가 없었다(p = 0.1359).

ABSTRACT

Colorization of grayscale images has been a hot topic in computer vision. Previous research mainly focuses on producing a colored image to match the original one. However, since many colors share the same gray value, an input grayscale image could be diversely colored while maintaining its reality. In this paper, we design a novel solution for unsupervised diverse colorization. Specifically, we leverage conditional generative adversarial networks to model the distribution of real-world item colors, in which we develop a fully convolutional generator with multi-layer noise to enhance diversity, with multi-layer condition concatenation to maintain reality, and with stride 1 to keep spatial information. With such a novel network architecture, the model yields highly competitive performance on the open LSUN bedroom dataset. The Turing test of 80 humans further indicates our generated color schemes are highly convincible.

연구 동기 및 목표

• 회색조에서 색상으로의 매핑에 모호성이 존재함에 따라 평균화되고 세피아 톤처럼 보이는 결과를 낼 수밖에 없는 결정론적 색조화 모델의 한계를 해결한다.
• 인간이 레이블링한 색상 참조나 진짜 색상 레이블이 필요 없이 비지도로 다양한 현실적인 색조화를 생성할 수 있도록 한다.
• 색조화 모델이 단일 평균 색상 출력으로 수렴하는 문제를 해결하기 위해 가능한 색상의 전체 분포를 모델링한다.
• 공간적 정확도를 유지하면서 노이즈 주입과 조건부 감독을 통해 제어 가능한 다양성을 가능하게 하는 새로운 생성자 아키텍처를 개발한다.

제안 방법

• 스트라이드-1 컨볼루션을 사용하여 공간 해상도를 유지하고 다운샘플링을 방지하기 위해 완전 컨볼루션 생성자를 설계한다.
• 생성자의 첫 번째 반의 컨볼루션 레이어에 다중 레이어 노이즈를 주입하여 생성된 색조화의 다양성을 높인다.
• 생성자의 전반적인 레이어에 걸쳐 조건부 회색조 입력을 다중 레이어에 걸쳐 결합하여 현실적인 색상 분포와 구조적 일致성을 유지한다.
• 생성자와 판별자 간의 조건부 GAN을 사용하여, 생성자가 실제 이미지와 생성된 이미지를 구분하지 못하게 하는 방식으로 학습한다.
• 실제/가짜 이진 신호만 필요로 하는 판별자를 사용하여 인간이 레이블링한 색상 레이블이 없이도 완전히 비지도 학습이 가능하도록 한다.
• 다른 노이즈 시드를 사용하여 다양한 출력을 가능하게 하기 위해 진짜 세계 색상의 진짜 데이터 분포를 모델링하도록 생성자를 최적화한다.

실험 결과

연구 질문

• RQ1 조건부 GAN은 단일 회색조 이미지에서 비지도로 다양한 현실적인 색조화를 생성할 수 있는가?
• RQ2 공간적 세부 정보를 유지하면서도 색조 출력의 다양성을 극대화할 수 있는 생성자 아키텍처는 어떻게 설계할 수 있는가?
• RQ3 모델은 인간의 인지 테스트에서 실제 이미지와 구분할 수 없는 색조화를 생성할 수 있는가?
• RQ4 여러 레이어에 걸쳐 노이즈를 주입하면 현실성 손실 없이 색조의 다양성을 향상시킬 수 있는가?
• RQ5 원본 색상이 모호한 경우에도 단일 입력에 대해 다수의 타당한 색조화 스킴을 생성할 수 있는가?

주요 결과

• 제안된 모델은 단일 회색조 입력에서 다양한 현실적인 색조화를 생성하며, 인간 참가자들 중 62.6%가 생성된 이미지를 설득력 있다고 평가했다.
• 진짜 이미지의 경우 참가자들 중 70.0%가 실제 이미지로 인식했으며, 이는 모델의 출력이 현실성 면에서 매우 경쟁력이 있음을 보여준다.
• 두 표본 t-검정 결과 실제 이미지와 생성된 이미지의 인간 평가 간 유의미한 차이가 없었다(p = 0.1359 > 0.05), 즉 인간의 인지에서 구분이 불가능하다는 것을 의미한다.
• 평균적으로 진짜 이미지의 신뢰도 순위는 5점 만점에 2.5점이었으며, 이는 최소 37.5%의 생성된 이미지가 진짜 이미지보다 더 현실적으로 평가되었음을 시사한다.
• 다중 레이어 노이즈 주입과 조건 결합을 적용한 완전 컨볼루션형 비스트라이드 생성자는 공간적 구조를 잘 유지하면서도 고품질의 다양한 출력을 가능하게 했다.
• 이전의 지도 학습 및 결정론적 접근 방식에 비해 모델은 '세피아 톤' 평균 색상 문제를 피하고 오히려 가능한 색상의 전체 분포를 모델링함으로써 우수한 성능을 보였다.