[논문 리뷰] Outline Colorization through Tandem Adversarial Networks

Kevin Frans|arXiv (Cornell University)|2017. 04. 28.

Computer Graphics and Visualization Techniques참고 문헌 8인용 수 46

한 줄 요약

이 논문은 윤곽선에서 색상 계획을 예측하고, 그 다음 조명 효과를 조건부 GAN을 통해 생성하는 두 단계로 나누어 색상 칠하기를 제안한다. 이 방법은 난잡하거나 불완전한 색상 계획이 존재하더라도 자연스럽고 선명한 결과를 내며, 직접적인 엔드 투 엔드 색상 칠하기보다 정밀도와 경계 제어에서 뛰어난 성능을 보인다.

ABSTRACT

When creating digital art, coloring and shading are often time consuming tasks that follow the same general patterns. A solution to automatically colorize raw line art would have many practical applications. We propose a setup utilizing two networks in tandem: a color prediction network based only on outlines, and a shading network conditioned on both outlines and a color scheme. We present processing methods to limit information passed in the color scheme, improving generalization. Finally, we demonstrate natural-looking results when colorizing outlines from scratch, as well as from a messy, user-defined color scheme.

연구 동기 및 목표

• 디지털 아트 제작에서 시간이 많이 소요되는 색상 칠과 조명 효과 처리의 자동화에 도전한다.
• 직접적인 엔드 투 엔드 색상 칠 방식의 한계를 극복한다. 이 방식은 종종 기형적이거나 무작위로 배치된 색상이 생기는 경향이 있다.
• 색상 계획 예측과 조명 효과 생성을 분리함으로써 일반화 능력을 향상시켜, 부정확하거나 난잡한 사용자가 제공한 색상 계획에 대해서도 견고한 성능을 발휘하도록 한다.
• 사용자가 정의한 또는 모델이 예측한 색상 계획을 바탕으로 고품질의 자연스러운 색상 칠 결과를 도출할 수 있도록 한다.

제안 방법

• 색상 예측 및 조명 네트워크 모두에 대해 완전 컨volutional이고 U-Net 유사 아키텍처에 잔차 연결을 적용한다.
• 작업을 두 단계로 분해한다. 첫 번째로, 색상 예측 네트워크는 윤곽선을 기반으로 16×16 블록 기반의 굵은 색상 계획을 생성한다. 두 번째로, 조명 네트워크는 윤곽선과 색상 계획을 입력으로 받아 최종 이미지를 생성한다.
• 지역적 현실성에 대해 평가하는 패치 기반 판별자를 사용하여 조명 네트워크에 대해 악성 학습을 적용한다.
• 학습 중에 무작위로 10×10 패치를 제거하고 색상 계획을 흐리게 하는 데이터 증강 기법을 도입하여, 불완전한 입력에 대한 내성 강화를 도모한다.
• 색상 예측 네트워크에는 L2 손실를 사용하고, 조명 네트워크에는 악성 손실을 적용하여 학습 안정성과 시각적 품질을 향상시킨다.
• 추론 중에는 픽셀 값을 축소하여 입력 정보를 모두 유지한다. 이는 학습 중에 패치를 제거하는 방식과는 다름.

실험 결과

연구 질문

• RQ1 직접적인 엔드 투 엔드 매핑과 비교해 볼 때, 두 단계로 나누어진 GAN 아키텍처가 윤곽선 색상 칠의 품질과 일관성에 기여하는가?
• RQ2 粗안 색상 계획과 함께 악성 학습을 적용할 경우, 현실적인 조명 효과와 색상 배치를 생성하는 데 얼마나 효과적인가?
• RQ3 노이즈가 많거나 불완전하거나 사용자가 그린 색상 계획을 제공받았을 때, 조명 네트워크가 얼마나 일반화되는가?
• RQ4 윤곽선만을 기반으로 훈련된 색상 예측 네트워크가 생성한 색상 계획이 조명 네트워크와 함께 사용되었을 때 고품질의 최종 이미지를 도출할 수 있는가?
• RQ5 예를 들어 패치 제거 및 흐림 처리를 통해 색상 계획을 통한 정보 흐름을 제한함으로써 일반화 능력과 내성 강도가 향상되는가?

주요 결과

• 직접적인 엔드 투 엔드 색상 칠 방식에 비해 이 투자 네트워크는 더 선명한 선과 더 정확한 색상 경계를 생성한다. 이는 종종 색상이 번지거나 잘못 배치되는 문제를 야기한다.
• 혼잡하거나 손으로 그린 색상 계획을 제공받았을 때, 조명 네트워크는 물범처럼 색상을 퍼트리는 행동을 보이며, 윤곽선을 자연스러운 색상 경계로 사용하고, 검은 색상이 없더라도 그림자 부분을 유추한다.
• 순수한 흰색 색상 계획을 사용했을 때도 네트워크는 피부 톤, 하이라이트, 그림자 같은 유의미한 특징을 생성하여 윤곽선으로부터 강력한 구조적 추론 능력을 보인다.
• 색상 예측 네트워크는 일관성은 있지만 다양성이 떨어지는 출력을 생성하며, 테스트 이미지 전반에 걸쳐 유사한 스타일링 패턴을 선호한다.
• 색상 계획이 완벽하지 않더라도 자연스럽고 수채화 스타일의 결과를 성공적으로 생성하여 뛰어난 일반화 능력을 입증한다.
• 패치 제거 및 흐림 증강 전략은 효과적으로 내성 강도를 향상시키며, 드롭아웃을 모방하고 조명 네트워크가 불완전한 입력 조건에서도 일반화하도록 유도한다.