[논문 리뷰] UniColor: A Unified Framework for Multi-Modal Colorization with Transformer

Zhitong Huang, Nanxuan Zhao외 1명|arXiv (Cornell University)|2022. 09. 22.

Media, Gender, and Advertising인용 수 4

한 줄 요약

UniColor는 모든 조건을 동일한 힌트 포인트 표현으로 변환함으로써 스트로크, 예시, 텍스트 및 하이브리드 제어를 포함하는 다중 모odal 이미지 색조화를 위한 최초의 통합 Transformer 기반 프레임워크를 제안한다. 이는 크로마-VQGAN과 하이브리드-Transformer를 조합한 이단계 아키텍처를 통해 상호작용 가능하고 반복적이며 하이브리드적인 색조화 편집을 가능하게 하며, 모든 모odal에서 다양성, 품질, 유연성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose the first unified framework UniColor to support colorization in multiple modalities, including both unconditional and conditional ones, such as stroke, exemplar, text, and even a mix of them. Rather than learning a separate model for each type of condition, we introduce a two-stage colorization framework for incorporating various conditions into a single model. In the first stage, multi-modal conditions are converted into a common representation of hint points. Particularly, we propose a novel CLIP-based method to convert the text to hint points. In the second stage, we propose a Transformer-based network composed of Chroma-VQGAN and Hybrid-Transformer to generate diverse and high-quality colorization results conditioned on hint points. Both qualitative and quantitative comparisons demonstrate that our method outperforms state-of-the-art methods in every control modality and further enables multi-modal colorization that was not feasible before. Moreover, we design an interactive interface showing the effectiveness of our unified framework in practical usage, including automatic colorization, hybrid-control colorization, local recolorization, and iterative color editing. Our code and models are available at https://luckyhzt.github.io/unicolor.

연구 동기 및 목표

• 일괄적인 프레임워크가 스트로크, 텍스트, 예시 등 다양한 다중 모달 색조화 제어를 하나의 모델에서 지원하지 못하는 문제를 해결한다.
• 기존 방법이 단일 모달 제어에 국한되어 있어 모달 간 일반화가 어려운 한계를 극복한다.
• 하이브리드 제어, 국소 재색조화, 반복 편집을 포함한 민첩하고 상호작용 가능한 색조화 워크플로우를 가능하게 한다.
• 사용자 가이드 색조화 커스터마이제이션을 지원하면서도 생성된 색조화의 다양성과 시각적 품질을 유지한다.
• 노후 및 현대 이미지 모두에 대해 실시간 사용자 상호작용을 지원하는 시스템을 설계한다.

제안 방법

• 색상과 공간적 위치를 포함한 레이블이 부여된 픽셀인 힌트 포인트를 사용해 다중 모달 입력(스트로크, 예시, 텍스트)을 통합된 중간 표현으로 변환한다.
• 텍스트 기반의 CLIP 방법을 도입하여 텍스트로 지정된 객체를 국소화하고, 텍스트 임베딩을 이미지 영역에 투영함으로써 해당하는 힌트 포인트를 생성한다.
• 이단계 프레임워크를 사용한다: 첫 번째 단계는 Grayscale 이미지와 조건부 힌트 포인트를 인코딩하고, 두 번째 단계는 Transformer 기반 네트워크를 통해 다양한 색조화 결과를 생성한다.
• 콘텐츠와 색상 표현을 분리하기 위해 별도의 Grayscale 및 색상 인코더와 공동 디코더를 갖춘 Chroma-VQGAN을 설계한다.
• 힌트 포인트와 잠재 토큰 간의 커플링 어텐션을 통해 다중 모달 신호에 기반한 색조화 생성을 조건화하는 Hybrid-Transformer를 개발한다.
• 사용자가 정의한 영역 내에서 색상 토큰을 마스킹하고 재샘플링하여 반복 편집과 국소 재색조화를 지원한다.

실험 결과

연구 질문

• RQ1 통합 딥 러닝 프레임워크가 스트로크, 예시, 텍스트 등 다양한 다중 모달 색조화 제어를 하나의 아키텍처 내에서 효과적으로 지원할 수 있는가?
• RQ2 분포가 상이한 다양한 모달(예: 흩어진 스트로크 vs. 조밀한 예시 vs. 의미론적 텍스트)이 공통의 효율적인 중간 표현으로 매핑될 수 있는가?
• RQ3 다양한 분포를 가진 힌트 포인트에 기반한 Transformer 기반 생성 모델이 높은 다양성과 시각적 품질을 유지할 수 있는가?
• RQ4 통합 프레임워크가 하이브리드 제어, 국소 재색조화, 반복 편집과 같은 실용적인 상호작용 워크플로우를 지원할 수 있는가?
• RQ5 다중 모달 제어 융합에서 발생하는 실패 유형은 무엇이며, 충돌(예: 겹치는 힌트 포인트)은 어떻게 탐지하거나 해결할 수 있는가?

주요 결과

• UniColor는 평가된 모든 모달에서 무조건적 및 조건부 색조화에서 최신 기술 수준의 방법들을 능가하며, 뛰어난 다양성과 품질을 입증한다.
• CLIP 기반의 텍스트-힌트 포인트 변환 방법은 텍스트에 기술된 객체를 정확히 국소화하고 의미적으로 관련된 색상 신호를 생성하는 데 성공했다.
• 크로마-VQGAN과 하이브리드-Transformer를 조합한 이단계 프레임워크는 복잡한 하이브리드 제어 조건 하에서도 고해상도이고 다양한 색조화 결과를 생성할 수 있었다.
• 상호작용 가능한 시스템은 자동 색조화, 하이브리드 제어 편집, 국소 재색조화, 반복 보정과 같은 실용적 응용 사례를 지원한다.
• 사용자가 정의한 영역을 기반으로 엔드 투 엔드 색조화를 가능하게 하여, 옷을 초록색에서 주황색으로, 버스를 노란색에서 빨간색으로 바꾸는 등의 작업을 수행할 수 있다.
• 실패 사례로는 예상치 못한 색조화(예: 초록색 도로)와 제어 충돌(예: 빨간색과 초록색 힌트 포인트가 겹침)이 관찰되었으며, 이는 샘플링 제약과 충돌 해결 기법의 향상 여지를 시사한다.