[논문 리뷰] CLIPascene: Scene Sketching with Different Types and Levels of Abstraction

Yael Vinker, Yuval Alaluf외 2명|arXiv (Cornell University)|2022. 11. 30.

Advanced Vision and Imaging인용 수 7

한 줄 요약

CLIPascene는 기하학적 정확도 대 시맨틱 강조와 세부 묘사 대 흐린 선으로 나누어지는 두 가지 제어 가능한 축을 갖춘 새로운 스케치 기법을 제안한다. CLIP-ViT 특징에 기반한 두 개의 MLP를 사용하여 다양한 추상화 수준에서 부드럽고 벡터 기반의 스케치를 생성함으로써, 복잡한 장면에서도 의미와 구조를 유지하면서 사용자에 의해 제어 가능한 점진적 단순화를 가능하게 한다.

ABSTRACT

In this paper, we present a method for converting a given scene image into a sketch using different types and multiple levels of abstraction. We distinguish between two types of abstraction. The first considers the fidelity of the sketch, varying its representation from a more precise portrayal of the input to a looser depiction. The second is defined by the visual simplicity of the sketch, moving from a detailed depiction to a sparse sketch. Using an explicit disentanglement into two abstraction axes -- and multiple levels for each one -- provides users additional control over selecting the desired sketch based on their personal goals and preferences. To form a sketch at a given level of fidelity and simplification, we train two MLP networks. The first network learns the desired placement of strokes, while the second network learns to gradually remove strokes from the sketch without harming its recognizability and semantics. Our approach is able to generate sketches of complex scenes including those with complex backgrounds (e.g., natural and urban settings) and subjects (e.g., animals and people) while depicting gradual abstractions of the input scene in terms of fidelity and simplicity.

연구 동기 및 목표

• 계산적 스케치 기법에서 세밀하고 사용자 제어 가능한 추상화의 부족을 해결하기 위해.
• 기하학적 정확도와 시각적 단순성의 두 축을 독립적으로 제어하여 예술적 제어력을 높이기 위해.
• 디자이너가 추가 편집이 가능한 벡터 형식의 스케치를 생성하기 위해.
• 스위프트 수나 단일 기반의 기존 방법이나 부드럽지 않은 단순화를 유도하는 방법의 한계를 극복하기 위해.
• 전경-배경 분리와 추상화 수준 간의 의미 일관성을 갖춘 복잡한 장면을 지원하기 위해.

제안 방법

• 추상화를 두 가지 축으로 분리: 정확도(정밀한 기하학적 정확도에서 시맨틱 강조로)와 단순성(세부 묘사에서 흐린 선으로).
• 두 개의 별도 MLP 네트워크 학습: CLIP-ViT 특징에 기반해 스트로크 배치를 예측하는 네트워크와, 인식 가능성을 유지하면서 점차 스트로크를 제거하는 네트워크.
• 정확도 축을 지도하기 위해 중간 CLIP-ViT 레이어 사용(예: 레이어 2는 고정밀도, 레이어 11은 느슨한 의미 추상화).
• 장면 분해를 적용하여 전경과 배경을 별도로 스케치함으로써 구조적 일관성을 향상시킴.
• 베지에 곡선을 사용해 벡터 스케치 생성함으로써 고정밀 편집과 확장성 확보.
• CLIP-ViT의 전역적 맥락 이해 능력을 활용해 추상화 과정 중 의미 일관성을 유지함.

실험 결과

연구 질문

• RQ1 스케치 기반 추상화를 별도로 제어 가능한 축으로 분리할 수 있는가?
• RQ2 딥 러닝 기반 방법이 여러 추상화 수준에서 매끄럽고 점진적인 단순화를 생성할 수 있는가?
• RQ3 정확도와 단순성의 동시 제어가 스케치 품질과 사용자 제어에 어떻게 기여하는가?
• RQ4 외부 데이터셋 없이도 추상화 수준 간 의미 일관성을 유지하는 벡터 기반 스케치를 생성할 수 있는가?
• RQ5 시각적 품질과 추상화 제어 측면에서 기존 스케치 기법과 비교해 본다면 어떻게 성능이 나아지는가?

주요 결과

• 이 방법은 다양한 정확도와 단순성 수준의 스케치 매트릭스를 성공적으로 생성하여 세밀한 사용자 제어를 가능하게 했다.
• 심지어 높은 수준의 추상화에서도 의미와 구조가 일관된 벡터 기반 스케치가 생성되었다.
• CLIP-ViT 중간 레이어의 사용은 기하학적 정밀도에서 의미 추상화까지 효과적인 정확도 축 제어를 가능하게 했다.
• 학습된 MLP를 통한 점진적 단순화로, CLIPasso와 같은 독립 최적화 방법 대비 추상화 수준 간 전이가 더 부드러워졌다.
• 비교 분석 결과, 특히 다수의 객체와 세부 배경을 포함한 복잡한 장면에서 뛰어난 시각적 품질과 일관성이 확보되었다.
• 장면 분해가 적용된 경우, CLIPasso 및 기타 기준 모델 대비 정성적·정량적 평가에서 모두 뛰어난 성능을 보였다.