[논문 리뷰] LUCSS: Language-based User-customized Colourization of Scene Sketches

Changqing Zou, Haoran Mo외 4명|arXiv (Cornell University)|2018. 08. 30.

Multimodal Machine Learning Applications참고 문헌 68인용 수 5

한 줄 요약

LUCSS는 깊이 신경망을 활용하여 개체 수준의 세분화, 공간 관계를 고려한 기술적 설명 문장 생성, 편집된 텍스트 지시에 기반한 색상화된 이미지 생성을 수행함으로써 사용자 맞춤형 색상화를 위한 언어 기반 상호작용 시스템이다. 이 시스템은 특히 객체 및 배경 색상화를 위한 최적화된 백본을 사용함으로써 기준 모델에 비해 사용자가 인식하는 충실도와 시각적 품질에서 뛰어난 성능을 보였다.

ABSTRACT

We introduce LUCSS, a language-based system for interactive col- orization of scene sketches, based on their semantic understanding. LUCSS is built upon deep neural networks trained via a large-scale repository of scene sketches and cartoon-style color images with text descriptions. It con- sists of three sequential modules. First, given a scene sketch, the segmenta- tion module automatically partitions an input sketch into individual object instances. Next, the captioning module generates the text description with spatial relationships based on the instance-level segmentation results. Fi- nally, the interactive colorization module allows users to edit the caption and produce colored images based on the altered caption. Our experiments show the effectiveness of our approach and the desirability of its compo- nents to alternative choices.

연구 동기 및 목표

• 복잡한 스케치에서 풍부한 시각적 특징이 부족한 흐린 스케치에 대해 정확한 개체 수준의 의미적 세분화를 가능하게 하기 위해.
• 세분화된 스케치 객체에서 공간적으로 인지 가능한 문장 생성을 통해 시각과 언어 이해 간의 다리를 놓기 위해.
• 사용자가 수동 페인팅 대신 자연어 편집을 통해 색상을 맞춤 설정할 수 있는 상호작용적 언어 기반 색상화를 지원하기 위해.
• 음성 명령 호환성과 스케치 기반 응용 프로그램에서의 다중 모odal 상호작용을 통해 사용자 경험을 향상시키기 위해.
• 딥 러닝을 활용하여 세분화, 문장 생성 및 색상화를 통합하는 통합 프레임워크를 구축하기 위해.

제안 방법

• 세 모듈로 구성된 파이프라인: (1) 스케치 전용 인덕티브 바이어스를 가진 수정된 RMI 기반 네트워크를 사용한 개체 세분화, (2) 트랜스포머 기반 문장 생성 헤드를 활용한 공간 관계 모델링을 통한 스케치 문장 생성, (3) GAN 기반 색상화 모듈을 통한 텍스트 조건부 이미지 생성.
• 세분화 모듈은 저조도 및 흐린 스케치에서 특징 학습을 향상시키기 위해 수정된 RMI(잔차 다중 스케일 상호작용) 블록을 활용한다.
• 문장 생성 모듈은 세분화된 개체에서 유래한 특징을 사용하여 객체 식별 및 공간 관계(예: '집 뒤에 나무')를 포함한 기술적 설명 문장을 생성한다.
• 색상화 모듈은 텍스트 임bedding을 조건으로 하는 조건부 GAN을 사용하여 편집된 문장을 기반으로 만화 스타일의 색상화된 이미지를 생성한다.
• 시스템은 대규모 스케치 데이터셋을 기반으로 훈련되었으며, 이 데이터셋에는 만화 스타일의 색상화된 이미지와 해당 텍스트 기술 설명이 함께 제공된다.
• 사용자 상호작용은 생성된 문장을 편집할 수 있도록 하여, 편집된 문장을 기반으로 사용자가 지정한 색상이 굵게 강조된 새로운 색상화 출력을 생성하는 방식으로 구현된다.

실험 결과

연구 질문

• RQ1 기존 자연 이미지에 대해 설계된 전통적 모델이 실패하는 흐린, 저대비 스케치에 대해 딥 네트워크가 정확한 개체 수준의 세분화를 달성할 수 있는가?
• RQ2 시각-언어 모델이 세분화된 스케치 객체에서 의미적으로 풍부하고 공간적으로 일관된 문장을 생성하여 후속 상호작용 작업을 지원할 수 있는가?
• RQ3 고정 또는 수동 색상 입력에 비해 사용자가 문장을 언어 기반으로 편집함으로써 스케치 색상화의 맞춤화 수준과 사용자 인식 품질이 얼마나 향상되는가?
• RQ4 다양한 백본 아키텍처(MRU, ResNet, Pix2Pix)가 충실도와 시각적 품질 측면에서 세분화 및 색상화 파이프라인 성능에 어떤 영향을 미치는가?
• RQ5 세분화, 문장 생성 및 조건부 이미지 생성을 통합하는 통합 프레임워크가 기존 기준 모델에 비해 더 충실하고 더 매력적인 결과를 도출할 수 있는가?

주요 결과

• 사용자 평가에서 MRU-RMI 모델은 LBIE 기준 모델에 비해 객체 색상화에서 뛰어난 성능을 보였으며, 충실도 및 효과성 연구 모두에서 높은 선택 비율을 기록했다.
• ResNet-RMI 모델은 배경 색상화 작업에서 뛰어난 성능을 보였으며, 이는 다양한 스케치 구성 요소에 적합한 백본 선택의 중요성을 입증한다.
• 사용자 평가 결과, LUCSS가 생성한 결과는 기준 모델에 비해 텍스트 기술 설명에 더 충실하고 더 매력적으로 평가되었다.
• 개체 세분화 작업에서 평균 마스크 평균 정확도(mAP)는 약 60%에 도달하여 향후 개선 여지가 있지만, 후속 응용 프로그램에 충분한 성능을 확보했다.
• 언어 편집 기능을 색상화 과정에 통합함으로써 직관적이고 다중 모odal 상호작용이 가능해졌으며, 향후 음성 명령 기반 응용 프로그램에 기여할 수 있었다.
• 시스템은 누락된 색상과 같은 누락된 세부 정보를 보완함으로써 복잡하거나 불완전한 텍스트 지시어에서도 일관된 색상화된 이미지를 성공적으로 생성했다.