[논문 리뷰] Comicolorization: Semi-Automatic Manga Colorization

Chie Furusawa, Kazuyuki Hiroshiba외 2명|arXiv (Cornell University)|2017. 06. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 15

한 줄 요약

이 논문은 참조 이미지를 사용하여 색상 특징을 추출하고 딥 뉴럴 네트워크를 색상화 지침으로 삼아 전체 만화 페이지에 일관되게 색상화하는 반자동 만화 색상화 시스템인 Comicolorization을 제안한다. 적대적 손실과 상호작용적 정밀 조정을 활용하여, 전체 패널에 걸쳐 일관되고 생생한 색상화를 달성하면서도, 완전 자동 접근 방식에서 흔히 발생하는 색상 모호성 문제를 해결한다.

ABSTRACT

We developed "Comicolorization", a semi-automatic colorization system for manga images. Given a monochrome manga and reference images as inputs, our system generates a plausible color version of the manga. This is the first work to address the colorization of an entire manga title (a set of manga pages). Our method colorizes a whole page (not a single panel) semi-automatically, with the same color for the same character across multiple panels. To colorize the target character by the color from the reference image, we extract a color feature from the reference and feed it to the colorization network to help the colorization. Our approach employs adversarial loss to encourage the effect of the color features. Optionally, our tool allows users to revise the colorization result interactively. By feeding the color features to our deep colorization network, we accomplish colorization of the entire manga using the desired colors for each panel.

연구 동기 및 목표

• 시각적 변동성으로 인해 같은 캐릭터가 여러 패널에서 다르게 색상화되는 흑백 만화에서 패널 간 일관성 없는 색상화 문제를 해결한다.
• 유사하게 보이는 캐릭터나 일관되지 않은 특징으로 인해 잘못되거나 일관되지 않은 색상 할당이 발생하는 자동 색상화의 '색상 모호성 문제'를 해결한다.
• 참조 이미지를 통한 반자동 처리를 통해 전체 만화 제목(여러 페이지)의 효율적이고 확장 가능한 색상화를 가능하게 하여 수동 작업을 최소화한다.
• 색상 점 또는 히스토그램 조정과 같은 최소한의 입력으로 사용자가 결과를 보완할 수 있도록 상호작용적 수정 도구를 제공한다.
• 참조 이미지에서 추출한 색상 특징을 딥 색상화 네트워크의 지침으로 사용하여 여러 패널에 걸쳐 일관된 색상 적용을 보장한다.

제안 방법

• 이시이 등(2009)의 방법에 기반한 이진화와 함께 패널 분할을 자동으로 수행하여 개별 패널을 분리하고 처리 대상으로 분리한다.
• 히스토그램 기반 팔레트 표현을 사용하여 참조 이미지에서 색상 특징을 추출하여 캐릭터의 목표 색상 분포를 정의한다.
• 참조 색상 특징에 따라 지시되는 딥 컨volution 신경망을 적대적 손실과 함께 훈련하여 현실적이고 고품질의 색상화 출력을 생성한다.
• 다수의 캐릭터가 존재할 경우, 여러 참조 이미지의 색상 특징을 융합하기 위해 히스토그램 블렌딩을 적용하여 복잡한 패널에서의 정확도를 향상시킨다.
• 색상 점과 히스토그램 조작을 통한 상호작용적 수정을 지원하여 사용자가 최소한의 입력으로 색상화를 수정하거나 보완할 수 있도록 한다.
• 원본 흑백 이미지의 텍스트 및 선 아트를 크기 조정하고 오버랩하여 최종 색상화된 만화 페이지를 재구성함으로써 레이아웃과 가독성을 유지한다.

실험 결과

연구 질문

• RQ1 시각적 변동성에도 불구하고, 같은 캐릭터가 여러 패널에 걸쳐 일관되게 색상화될 수 있는 방법은 무엇인가요?
• RQ2 패널당 수동 애너테이션 없이 참조 이미지가 딥 러닝 모델을 얼마나 잘 지시하여 자연스럽고 생생한 색상화를 생성할 수 있나요?
• RQ3 적대적 훈련이 기준 모델 대비 자동으로 색상화된 만화의 현실성과 시각적 품질을 향상시키는 데 얼마나 효과적인가요?
• RQ4 색상 특징과 상호작용적 색상 점의 조합은 색상 정확성을 유지하면서 사용자 작업 부담을 얼마나 줄일 수 있나요?
• RQ5 여러 참조 이미지의 히스토그램 블렌딩은 다수의 캐릭터가 존재하는 패널에서 색상화 정확도를 향상시키고, 모순되는 색상 신호로 인한 오류를 줄일 수 있나요?

주요 결과

• 제안된 시스템은 완전 자동 방법에서 흔히 발생하는 '흐릿한' 또는 '일관되지 않은' 색상화 문제를 피하면서 전체 만화 페이지에 걸쳐 일관되고 생생한 색상화를 성공적으로 생성한다.
• 참조 이미지를 색상 특징의 원천으로 사용함으로써 네트워크가 동일한 캐릭터에 대해 여러 패널에 걸쳐 동일한 색상을 유지할 수 있어 핵심적인 색상 모호성 문제를 해결한다.
• 적대적 손실의 통합은 기준 모델 대비 생성된 색상 이미지의 현실성과 시각적 품질을 크게 향상시킨다.
• 색상 점과 히스토그램 조정을 통한 상호작용적 수정은 최소한의 입력으로 미세한 일관성 문제를 보완할 수 있어 사용성 향상에 기여한다.
• 여러 참조 이미지의 히스토그램 블렌딩은 다수의 캐릭터가 존재하는 복잡한 패널에서 성능을 향상시켜 단일 참조 접근 방식 대비 잘못된 색상 할당을 줄인다.
• 시스템은 다양한 만화 스타일과 캐릭터 디자인에 걸쳐 스케일러블하고 강건함을 입증하는 만큼, 전체 Manga 109 데이터셋에서 고품질 결과를 달성한다.