[논문 리뷰] Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN

Lvmin Zhang, Yi Ji외 1명|arXiv (Cornell University)|2017. 06. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 33

한 줄 요약

이 논문은 강화된 잔차 U-Net 생성자와 보조 분류기 GAN(AC-GAN)을 결합하여 애니메이션 스케치에 대한 새로운 스타일 전이 방법을 제안한다. VGG-19의 fc1 레이어에서 유도된 전역적 스타일 힌트와 두 개의 가이드 디코더를 도입함으로써 학습을 안정화시키고, 참조 그림에서 스케치로 예술적 스타일을 효과적으로 전이하면서도 의미적 구조를 유지하며, 고품질이고 일관된 결과를 빠르게 피드포워드 추론할 수 있다.

ABSTRACT

Recently, with the revolutionary neural style transferring methods, creditable paintings can be synthesized automatically from content images and style images. However, when it comes to the task of applying a painting's style to an anime sketch, these methods will just randomly colorize sketch lines as outputs and fail in the main task: specific style tranfer. In this paper, we integrated residual U-net to apply the style to the gray-scale sketch with auxiliary classifier generative adversarial network (AC-GAN). The whole process is automatic and fast, and the results are creditable in the quality of art style as well as colorization.

연구 동기 및 목표

• 기존 신경망 기반 스타일 전이 방법이 애니메이션 스케치에 그림 스타일을 전이할 때 랜덤하거나 비일관성 있는 색채우기가 발생하는 한계를 해결하기 위해.
• 단일 참조 그림을 스타일 맵으로 사용하여 스케치를 스타일링된 그림으로 매핑하는 완전한 피드포워드 방식으로, 빠르고 자동화된 방법을 개발하기 위해.
• 스케치(낮은 정보량)에서 세밀한 그림(높은 정보량)으로 전이할 때 조건부 GAN에서 발생하는 학습 불안정성을 해결하기 위해, 이중 가이드 디코더를 갖춘 수정된 잔차 U-Net을 도입하기 위해.
• AC-GAN의 변형을 통해 진짜/가짜 이미지 분류와 동시에 스타일 카테고리 예측 기능을 제공함으로써 판별기 성능을 향상시키기 위해.
• 머리, 눈, 피부, 옷과 같은 의미적 특징을 유지하여 일관되고 예술적으로 타당한 출력을 보장하는 고정밀도 스타일 전이를 달성하기 위해.

제안 방법

• 생성자는 스킵 연결을 갖춘 잔차 U-Net 아키텍처를 사용하며, VGG-19의 fc1 레이어(4096차원)에서 유도된 전역적 스타일 힌트가 중간 수준 레이어에 전역 정규화 이후 추가된다.
• 두 개의 가이드 디코더를 도입: 중간 수준 레이어의 입구와 출구에 각각 배치되어 역전파 동안 기울기 소실을 방지하고 기울기 흐름을 안정화시킨다.
• 수정된 L1 손실을 사용하며, 세 가지 구성 요소로 이루어지며: 최종 출력에 대한 복원 손실, 그리고 두 가이드 디코더 출력에 대한 추가 L1 손실로, 각각 α=0.3과 β=0.9의 가중치를 부여한다.
• 판별기는 AC-GAN에서 파생되었으며, 스타일 임베딩에 대응하는 4096개의 출력 클래스를 갖추어, 진짜/가짜 분류와 스타일 카테고리 예측을 동시에 수행한다.
• 학습 목표는 적대적 손실(L_GAN)과 복합 L1 손실을 조합하며, 최종 최적화 목표는 min_G max_D L_GAN + λ·L_l1이다.
• 학습은 VGG-19의 특징을 동결하여 내용과 스타일 표현을 유지하면서, 실제 스케치-그림 쌍의 조합을 사용하여 수행된다.

실험 결과

연구 질문

• RQ1 조건부 GAN 기반 접근법이 의미 일관성과 색채의 일관성을 유지하면서 참조 그림에서 스케치로 예술적 스타일을 효과적으로 전이할 수 있는가?
• RQ2 낮은 정보량의 스케치에서 높은 정보량의 그림으로 전이할 때, U-Net 아키텍처에서 발생하는 학습 불안정성은 어떻게 완화할 수 있는가?
• RQ3 사전 학습된 VGG 네트워크에서 유도된 전역적 스타일 힌트의 통합이 애니메이션 스케치 색채우기의 품질과 일관성에 향상 효과를 주는가?
• RQ4 비짝지 또는 불균형한 데이터 분포를 가진 스타일 전이 작업에서, 보조 분류기 GAN이 표준 조건부 GAN을 능가하는가?
• RQ5 가이드 디코더는 깊이 있는 잔차 U-Net 생성자에서 기울기 흐름과 학습 안정성 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 참조 그림에서 애니메이션 스케치로 예술적 스타일을 성공적으로 전이하여, 무작위적이거나 비일관성 있는 색채우기를 방지하고, 일관성 있고 고품질이며 예술적으로 타당한 결과를 생성한다.
• 두 개의 가이드 디코더를 사용함으로써 학습 안정성이 크게 향상되었으며, 손실 변동이 감소하고 기울기 흐름이 더 일관성 있게 유지되는 것으로 확인되었으며, 특히 고차원적 스타일 힌트를 처리할 때 두드러진다.
• 표준 U-Net과 조건부 GAN에 비해 뛰어난 성능을 보이며, 머리, 눈, 피부, 옷과 같은 의미적 특징을 정확히 유지하여 스타일 맵에 따라 올바르게 색채워진다.
• AC-GAN 판별기는 이미지 진위성과 스타일 카테고리 분류를 동시에 수행함으로써 표준 조건부 GAN을 능가하여 더 집중적이고 현실적인 스타일 생성을 이끈다.
• 가이드 디코더 메커니즘이 중간 수준 레이어의 기울기 흐름을 안정화시킴으로써, 노이즈가 있거나 매우 정보량이 많은 전역적 스타일 힌트(예: 4096차원 벡터)가 주어져도 모델이 강건하게 작동함을 입증했다.
• 빠른 피드포워드 추론이 가능하여 애니메이션 및 디지털 예술 제작 분야의 실시간 응용에 적합하다.