[논문 리뷰] Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation

Aditya Sanghi, Pradeep Kumar Jayaraman외 5명|arXiv (Cornell University)|2023. 07. 08.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

Sketch-A-Shape는 훈련 중에 합성 3D 렌더링에서 강력한 의미적 특징을 추출하기 위해 동결된 사전 훈련된 시각 모델(예: CLIP, DINOv2)을 활용하는 제로샷 스케치-3D 형상 생성 방법을 제안한다. 이는 훈련 시 페어링된 스케치-3D 데이터가 필요로 하지 않으며, 추론 시 다양한 3D 형상을 스케치에서 생성할 수 있도록 한다. 이 방법은 스케치의 추상 수준과 3D 표현 방식(바voxel, 암시적, CAD) 간에 뛰어난 일반화 성능을 보이며, 제로샷 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Significant progress has recently been made in creative applications of large pre-trained models for downstream tasks in 3D vision, such as text-to-shape generation. This motivates our investigation of how these pre-trained models can be used effectively to generate 3D shapes from sketches, which has largely remained an open challenge due to the limited sketch-shape paired datasets and the varying level of abstraction in the sketches. We discover that conditioning a 3D generative model on the features (obtained from a frozen large pre-trained vision model) of synthetic renderings during training enables us to effectively generate 3D shapes from sketches at inference time. This suggests that the large pre-trained vision model features carry semantic signals that are resilient to domain shifts, i.e., allowing us to use only RGB renderings, but generalizing to sketches at inference time. We conduct a comprehensive set of experiments investigating different design factors and demonstrate the effectiveness of our straightforward approach for generation of multiple 3D shapes per each input sketch regardless of their level of abstraction without requiring any paired datasets during training.

연구 동기 및 목표

• 기존의 스케치-3D 페어링 데이터셋이 대규모로 부족하여 스케치-3D 생성 방법의 일반화 능력이 제한됨을 해결하기 위해.
• 훈련 시 페어링된 스케치-3D 데이터가 전혀 필요 없이 제로샷 3D 형상 생성을 가능하게 하기 위해.
• 사전 훈련된 시각 모델의 특징이 렌더링에서 스케치로의 도메인 전이에 일반화될 수 있는지 조사하기 위해.
• 다양한 스케치 유형(일상적인 드로잉에서 전문 디자인에 이르기까지)과 여러 3D 표현 방식에 걸쳐 일반화되는 방법을 개발하기 위해.
• 아키텍처 선택 사항(예: 특징 레이어 선택, 조건 설정 메커니즘, 데이터 증강)이 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 3D 형상에서 이산적 형상 임베딩을 학습하기 위해 VQ-VAE를 훈련하여 3D 기하학의 압축 표현을 가능하게 한다.
• 훈련 중에 합성 3D 렌더링에 적용된 동결된 사전 훈련된 시각 모델(예: CLIP, DINOv2)에서 추출한 국소적 의미적 특징에 조건이 붙은 마스크된 트랜스포머를 사용한다.
• 추론 시 동일한 마스크된 트랜스포머가 입력 스케치에서 추출한 특징에 동일한 동결된 시각 인코더를 사용하여 조건을 설정함으로써 제로샷 생성을 가능하게 한다.
• 시각 트랜스포머의 중간 레이어(예: L-14 모델의 레이어 24)에서 추출한 국소적 특징을 조건 설정 신호로 사용하여 풍부한 의미적 및 공간 정보를 확보한다.
• 이미지 특징을 트랜스포머의 잠재 공간에 정렬하기 위해 두 개의 MLP 레이어와 학습 가능한 위치 임베딩을 갖는 교차 어텐션을 사용하는 학습 가능한 매핑 네트워크를 사용한다.
• 훈련 중에 애핀 변환, 색상 왜곡, 캐니 에지 검출과 같은 데이터 증강 전략을 적용하여 정확도와 일반화 능력을 향상시킨다.

Figure 2: An overview of the Sketch-A-Shape method. The top row shows the two training stages. The bottom row shows how 3D shape is generated via sketch at inference time.

실험 결과

연구 질문

• RQ1 사전 훈련된 시각 모델 특징이 제로샷 설정에서 합성 3D 렌더링에서 실재 스케치로 일반화될 수 있는가?
• RQ2 시각 모델 레이어 선택이 스케치-3D 생성의 품질과 정확도에 어떤 영향을 미치는가?
• RQ3 특징 정렬을 위한 최적의 조건 설정 메커니즘(예: 교차 어텐션 대비 자체 어텐션)과 매핑 네트워크 아키텍처는 무엇인가?
• RQ4 다양한 데이터 증강 전략이 모델의 다양한 스케치 데이터셋에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ5 페어링된 훈련 데이터 없이도 다양한 표현 방식(바voxel, 암시적, CAD)의 다양하고 고성능의 3D 형상을 생성할 수 있는가?

주요 결과

• L-14 시각 트랜스포머의 가장 깊은 레이어(레이어 24)에서 특징을 조건으로 설정했을 때, QD-Acc 55.45%, TU-Acc 77.15%, SS-Acc 74.53%, IS-Acc 69.06%를 달성한다.
• 깊이가 깊어질수록 성능이 크게 향상되며, 레이어 24에서 가장 높은 정확도를 기록함으로써 더 깊은 특징이 더 강력한 의미적 및 공간 정보를 담고 있음을 시사한다.
• 교차 어텐션과 학습 가능한 위치 임베딩을 갖는 두 개의 MLP 레이어로 구성된 매핑 네트워크를 사용할 경우 최고의 성능(57.52% QD-Acc, 79.41% TU-Acc, 78.18% SS-Acc, 70.53% IS-Acc)을 기록한다.
• 특히 애핀 변환과 캐니 에지 변환을 포함한 데이터 증강 추가로 전체 성능 향상이 이루어졌으며, 전체 증강 세트를 적용했을 때 QD-Acc 58.96%, TU-Acc 81.48%, SS-Acc 79.71%, IS-Acc 74.20%를 달성한다.
• 모델은 스케치의 추상 수준 간에 효과적으로 일반화되어 일상적인 드로잉에서 전문 디자인에 이르기까지 일관된 3D 형상을 생성한다.
• 모델은 바voxel, 암시적, CAD 등의 다양한 3D 표현 방식에서 뛰어난 성능을 유지하며, 재학습 없이도 넓은 적용 가능성을 보여준다.

Figure 3: Generated 3D shapes from sketches of different domains. Rows 1–5, and 6 refer to voxel, and implicit representations, respectively. The last three rows show different 3D samples generated per sketch in voxel, implicit, and CAD formats.