[논문 리뷰] Tag2Pix: Line Art Colorization Using Text Tag With SECat and Changing Loss

Hyun‐Su Kim, Ho Young Jhoo외 2명|arXiv (Cornell University)|2019. 08. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 13

한 줄 요약

Tag2Pix는 텍스트 기반 색상 태그를 사용하여 선화풍 색상화를 위한 GAN 기반 방법을 제안하며, 다중 레이블 세분화를 향상시키기 위해 SECat(Squeeze-and-Excitation with Concatenation)를 도입하고, 학습을 안정화시키기 위해 손실 함수를 변화시키는 두 단계 학습 전략을 사용한다. 이 방법은 실제 데이터셋에서 39.21의 FID 스코어를 기록하며, 눈과 같은 미세한 디테일에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Line art colorization is expensive and challenging to automate. A GAN approach is proposed, called Tag2Pix, of line art colorization which takes as input a grayscale line art and color tag information and produces a quality colored image. First, we present the Tag2Pix line art colorization dataset. A generator network is proposed which consists of convolutional layers to transform the input line art, a pre-trained semantic extraction network, and an encoder for input color information. The discriminator is based on an auxiliary classifier GAN to classify the tag information as well as genuineness. In addition, we propose a novel network structure called SECat, which makes the generator properly colorize even small features such as eyes, and also suggest a novel two-step training method where the generator and discriminator first learn the notion of object and shape and then, based on the learned notion, learn colorization, such as where and how to place which color. We present both quantitative and qualitative evaluations which prove the effectiveness of the proposed method.

연구 동기 및 목표

• 일러스트레이션 산업에서 수작업 선화풍 색상화의 높은 비용과 난이도를 해결하기 위해.
• 복잡한 입력(예: 색상 스토크 또는 기준 이미지)을 피하고 오직 텍스트 기반 색상 태그만을 사용하여 선화풍 색상화를 위한 저비용, 사용자 友好的한 방법을 개발하기 위해.
• 기존 방법에서 자주 잘못 렌더링되는 눈이나 머리카락과 같은 작은 미세 기능의 색상화 정확도를 향상시키기 위해.
• 새로운 두 단계 학습 전략과 손실 적응을 통해 GAN 기반 색상화에서 학습 안정성과 성능을 향상시키기 위해.
• 재현 가능성을 지원하고 향후 연구를 위해 새로운 데이터셋과 사전 학습 모델을 공개하기 위해.

제안 방법

• 기본적으로 보조 분류기 GAN(ACGAN) 기반의 조건부 GAN 프레임워크를 사용하며, 디스커미네이터는 이미지의 진위성과 입력 색상 태그를 모두 분류한다.
• 공간적 위치 전역에서 관련 색상 특징을 동적으로 강조함으로써 소형 기능에 대한 주의를 향상시키기 위해, 새로운 네트워크 모듈인 SECat(Squeeze-and-Excitation with Concatenation)를 도입한다.
• 생성자는 선화풍을 위한 사전 학습된 세분화 인코더와 텍스트 기반 색상 힌트를 처리하기 위한 전용 CVT(Color Variant Tag) 인코더를 통합한다.
• 두 단계 학습 전략을 적용한다: 첫 번째 단계에서는 재구성 손실을 사용하여 객체 및 형태 세분화를 학습하고, 두 번째 단계에서는 복합 적인 적대적 손실과 인지적 손실을 사용하여 색상화를 학습한다.
• 학습 단계에 따라 손실 함수를 동적으로 조정하여, 초기 단계에서는 세분화를 우선시하고, 후기 단계에서는 색상화를 우선시한다.
• 스킵 연결과 특징 병합을 통해 공간적 디테일을 유지하며, CVT 특징은 다중 디코더 단계에서 SECat 블록을 통해 주입된다.

실험 결과

연구 질문

• RQ1 텍스트 기반 태그 시스템이 복잡한 색상 힌트(예: 색상 스토크 또는 기준 이미지)를 효과적으로 대체할 수 있는가?
• RQ2 SECat 모듈이 눈이나 머리카락과 같은 작은 미세 기능의 색상화에 뚜렷한 향상을 이끌 수 있는가?
• RQ3 손실 함수를 변화시키는 두 단계 학습 전략이 GAN 기반 선화풍 색상화에서 학습 안정성과 최종 색상화 품질을 향상시킬 수 있는가?
• RQ4 제안된 방법은 기존의 GAN 기반 및 비-GAN 기반 색상화 접근법과 정량적·정성적으로 비교해 볼 때 어떻게 성능을 냈는가?
• RQ5 전용 데이터셋과 사전 학습된 구성 요소의 사용이 성능 향상과 재현 가능성에 얼마나 기여하는가?

주요 결과

• SECat 모듈은 테스트 세트에서 가장 낮은 Fréchet Inception Distance(FID) 스코어 39.21을 기록했으며, ResNeXt(52.49), SE-ResNeXt(45.48) 및 기타 임베딩 방법을 모두 앞서며 우수한 성능을 보였다.
• SECat는 비교적 적은 파라미터 수(15.81M)로도 뛰어난 성능을 달성했으며, Concat all(17.37M)과 같은 유사한 방법보다도 효율성이 높았다.
• 사용자 연구 결과, SECat는 세분화(3.51), 자연스러움(3.60), 정확도(3.60), 총합 품질(3.54)에서 모든 베이스라인을 앞서는 점수를 기록했다.
• 정성적 결과 분석에서, 오직 SECat만이 애매하거나 흐린 태그 조건에서도 눈이나 머리카락과 같은 작은 기능을 정확히 색상화하는 데 성공했다.
• 두 단계 학습 전략은 수렴 속도를 빠르게 하고 안정성을 향상시켰으며, 두 번째 단계에서 10 에포크 만에 최적의 FID 스코어를 달성했다.
• 제안된 Tag2Pix 데이터셋은 실제 선화풍 일러스트레이션 4,127개와 해당 색상 태그를 포함하고 있으며, 고해상도의 재현 가능한 훈련 및 평가를 가능하게 한다.