[논문 리뷰] CLIPasso: Semantically-Aware Object Sketching

Yael Vinker, Ehsan Pajouheshgar외 6명|arXiv (Cornell University)|2022. 02. 11.

Advanced Vision and Imaging인용 수 10

한 줄 요약

CLIPasso는 CLIP을 통한 의미 지침과 미분 가능 래스터라이제이션을 사용하여 이미지에서 추상적이고 인지 가능한 스케치를 생성하는 최적화 기반 방법을 소개한다. 스케치의 선 수를 변화시킴으로써 스케치 데이터셋이 필요 없이 다양한 추상 수준을 달성하며, 대상의 핵심 시각적 및 의미적 특징을 유지한다.

ABSTRACT

Abstraction is at the heart of sketching due to the simple and minimal nature of line drawings. Abstraction entails identifying the essential visual properties of an object or scene, which requires semantic understanding and prior knowledge of high-level concepts. Abstract depictions are therefore challenging for artists, and even more so for machines. We present CLIPasso, an object sketching method that can achieve different levels of abstraction, guided by geometric and semantic simplifications. While sketch generation methods often rely on explicit sketch datasets for training, we utilize the remarkable ability of CLIP (Contrastive-Language-Image-Pretraining) to distill semantic concepts from sketches and images alike. We define a sketch as a set of Bézier curves and use a differentiable rasterizer to optimize the parameters of the curves directly with respect to a CLIP-based perceptual loss. The abstraction degree is controlled by varying the number of strokes. The generated sketches demonstrate multiple levels of abstraction while maintaining recognizability, underlying structure, and essential visual components of the subject drawn.

연구 동기 및 목표

• 의미적 및 구조적 본질을 포착하는 추상적이고 인지 가능한 스케치를 이미지에서 생성하는 방법을 개발하는 것.
• 명시적인 스케치 데이터셋에 의존하지 않고 스케치의 추상 수준을 다양하게 조절할 수 있도록 하는 것.
• CLIP의 의미 이해 능력과 미분 가능 렌더링을 활용하여 스케치 파라미터를 종단 간 최적화하는 것.
• 최소한의 선 수에서도 인식 가능성과 구조적 정확성을 유지하는 것.
• 스케치 컬렉션으로 훈련된 딥러닝 방법의 대안으로 데이터 없이 최적화 기반의 접근을 제공하는 것.

제안 방법

• 스케치는 학습 가능한 제어점을 가진 베지에 곡선의 집합으로 표현되며, 미분 가능 래스터라이저를 통해 최적화된다.
• 생성된 스케치가 입력 이미지의 의미적 내용과 일치하도록 CLIP 기반의 지각적 손실이 사용된다.
• 기하학적 및 의미적 단순화를 균형 있게 조절하기 위해 중간 및 최종 CLIP 특징을 통합한다.
• 비전 트랜스포머에서 유도된 시각적 중요도 맵이 스트로크 제어점의 초기화를 안내하여 강건성을 향상시킨다.
• 스트로크 수가 추상 수준을 제어하며, 줄어든 선 수는 더 높은 추상 수준을 의미한다.
• 이 방법은 종단 간 미분 가능하며, 역전파를 사용하여 스트로크 파라미터를 직접 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 방법이 전용 스케치 데이터셋 없이도 이미지에서 추상 스케치를 생성할 수 있는가?
• RQ2 CLIP의 의미 이해 능력이 스케치 생성 과정에서 추상화에 얼마나 효과적으로 기여하는가?
• RQ3 극도로 줄어든 선 수 조건에서, 미분 가능 렌더링 파이프라인은 의미적 및 구조적 특징을 얼마나 잘 유지하는가?
• RQ4 시각적 중요도 기반 초기화가 추상 스케치의 품질과 인식 가능성에 기여하는가?
• RQ5 학습된 스케치 표현에서 추상 수준과 인식 가능성 사이의 상호 상충 관계는 어떠한가?

주요 결과

• CLIPasso는 스트로크 수만으로 제어 가능한 다수의 추상 수준을 갖는 스케치를 성공적으로 생성한다. 이는 높은 세부 사항에서 최소한의 스케치에 이르기까지 다양하게 적용된다.
• 8개의 스트로크조차도 의미적 및 구조적 정합성을 유지하여 강력한 카테고리 수준의 인식이 가능하다.
• 결과적으로, CLIP 기반의 손실이 순수 기하학적 또는 데이터 기반 접근보다 의미 일관성과 인식 가능성 면에서 뛰어나다.
• 시각적 중요도 기반 초기화는 특히 선 수가 적은 경우에서 수렴 속도와 스케치 품질을 향상시킨다.
• 이 방법은 동물, 차량, 인간 얼굴 등 다양한 객체 카테고리에 대해 잘 일반화되며, SketchyCOCO 및 NPR 벤치마크 데이터셋을 통해 이를 입증했다.
• 시각적 비교 결과, 고도의 추상화 수준에서도 CLIPDraw 및 기타 최적화 기반 베이스라인에 비해 주제 정체성을 더 잘 유지하는 것으로 나타났다.