[논문 리뷰] Interactive Deep Colorization With Simultaneous Global and Local Inputs

Yi Xiao, Peiyao Zhou외 1명|arXiv (Cornell University)|2018. 01. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 7

한 줄 요약

이 논문은 유일한 U-Net 아키텍처 내에서 동시에 글로벌(색상 톤) 및 로컬(색상 점) 사용자 입력을 지원하는 새로운 딥 컬러라이제이션 방법을 제안한다. 특별히 설계된 손실 함수를 통해 입력의 영향을 구분하며, 이는 더 유연한 사용자 제어를 가능하게 하며, 색상 톤 추천 시스템을 포함한다. 이 방법은 글로벌 및 로컬 입력을 동시에 사용할 경우 PSNR 28.5375를 기록하여 기존 방법들을 초월하며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Colorization methods using deep neural networks have become a recent trend. However, most of them do not allow user inputs, or only allow limited user inputs (only global inputs or only local inputs), to control the output colorful images. The possible reason is that it's difficult to differentiate the influence of different kind of user inputs in network training. To solve this problem, we present a novel deep colorization method, which allows simultaneous global and local inputs to better control the output colorized images. The key step is to design an appropriate loss function that can differentiate the influence of input data, global inputs and local inputs. With this design, our method accepts no inputs, or global inputs, or local inputs, or both global and local inputs, which is not supported in previous deep colorization methods. In addition, we propose a global color theme recommendation system to help users determine global inputs. Experimental results shows that our methods can better control the colorized images and generate state-of-art results.

연구 동기 및 목표

• 기존 딥 컬러라이제이션 방법이 동시에 글로벌 및 로컬 사용자 입력을 처리할 수 없는 한계를 해결하기 위해.
• 히스토GRAM이나 예시 이미지보다 더 직관적인 색상 톤을 글로벌 입력으로 도입하여 색상화 출력에 대한 사용자 제어를 향상시키기 위해.
• 그레이스케일 텍스처 특징과 학습된 색상 히스토GRAM 매핑을 기반으로 한 추천 시스템을 제안하여 색상 톤 선택에 소요되는 사용자 노력 감소를 위해.
• 네 가지 입력 조합(입력 없음, 글로벌 입력만, 로컬 입력만, 글로벌 및 로컬 입력 모두)을 동시에 지원하는 통합 딥 러닝 모델을 설계하기 위해.

제안 방법

• 특정 U-Net 기반 신경망을 사용하며, 세 가지 구성 요소로 나뉜다: 특징 추출(3개의 컨볼루션 + 3개의 풀링 레이어), 특징 융합(글로벌 색상 톤과 추출된 특징 통합), 복원(이중화 레이어 3개를 사용해 Lab 색공간의 색채도 채널 복원).
• 입력 데이터, 글로벌 입력(색상 톤), 로컬 입력(색상 점)의 영향을 구분하기 위해 새로운 손실 함수를 설계하여, 훈련 중 각 입력이 적절히 기여하도록 보장한다.
• 글로벌 입력은 3~7개의 색상으로 구성된 색상 톤으로, 히스토GRAM이나 예시 이미지보다 사용자에게 더 우호적이다.
• 대규모 이미지 데이터베이스를 활용해 그레이스케일 텍스처 특징에서 색상 히스토GRAM으로의 매핑을 학습하여 글로벌 색상 톤 추천 시스템을 구축한다.
• 모델은 네 가지 입력 모드(입력 없음, 글로벌 입력만, 로컬 입력만, 둘 다)를 하나의 네트워크 내에서 모두 처리하도록 훈련한다.
• 20개의 테스트 이미지에서 다양한 입력 조합을 사용하여 PSNR를 평가하며, 최신 기술 수준의 방법들과의 비교도 수행한다.

실험 결과

연구 질문

• RQ1 딥 신경망이 이미지 컬러라이제이션을 위해 동시에 글로벌 색상 톤과 로컬 색상 점을 효과적으로 활용할 수 있는가?
• RQ2 엔드 투 엔드 훈련 중 글로벌 및 로컬 입력의 기여도를 적절히 가중하고 구분할 수 있도록 손실 함수를 어떻게 설계할 수 있는가?
• RQ3 히스토GRAM이나 예시 이미지 대비 색상 톤을 글로벌 입력으로 사용할 경우, 사용자 제어성 향상과 입력 노력 감소에 기여하는가?
• RQ4 텍스처 특징과 학습된 색상 매핑을 기반으로 한 추천 시스템이 사용자 입력에 적합한 색상 톤을 효과적으로 제안할 수 있는가?
• RQ5 네 가지 입력 모드를 모두 지원하는 통합 모델의 성능은 전용 모델 대비 PSNR 및 시각적 품질 측면에서 어떻게 비교되는가?

주요 결과

• 글로벌 및 로컬 입력을 모두 사용할 경우, 제안된 방법은 PSNR 28.5375를 기록하여 평가된 모든 방법 중 가장 높은 성능에 가까운 결과를 달성한다.
• 기본 자동 컬러라이제이션 방법(PSNR ~24.5)보다 우수하며, 글로벌 입력만 사용할 경우 [17]의 사용자 가이드드 방법(27.8543 vs. 29.2105 PSNR)보다도 성능이 떨어지지만, 여전히 높은 성능을 보인다.
• 로컬 입력만 사용할 경우, PSNR 27.2619를 기록하여 [17]의 29.0978보다 낮지만, 여전히 강력한 성능를 보이며, 로컬 입력 처리에 대한 최적화 여지가 있음을 시사한다.
• 실시간 추론 능력을 입증하여, GTX 1080Ti GPU에서 512×512 이미지를 0.0228초 내에 처리할 수 있다.
• 특히 추천 시스템과 조합했을 때, 역사적 또는 저품질 흑백 이미지를 자연스럽게 색상화하여 최소한의 사용자 입력으로도 자연스러운 결과를 생성한다.
• 외부 경관, 인물 초상화, 역사적 사진 등 다양한 이미지 카테고리에서 자연스럽고 세밀한 색상화 결과를 생성한다.