[논문 리뷰] 3D Shape Reconstruction from Free-Hand Sketches

Jiayun Wang, Jierui Lin외 4명|arXiv (Cornell University)|2020. 06. 17.

3D Shape Modeling and Analysis참고 문헌 47인용 수 6

한 줄 요약

이 논문은 단일 뷰 자유형 스케치에서 3D 형상 복원을 위한 새로운 방법을 제안하며, 합성 스케치를 활용한 훈련과 왜곡 및 개인적 스케치 스타일을 처리하는 스케치 표준화 모듈을 도입하여 데이터 부족성과 스타일 변동성을 해결한다. 이 방법은 왜곡 없는 선도에서 훈련된 모델과 비교해 실제 자유형 스케치에 대해 최신 기술 수준의 일반화 성능을 달성한다.

ABSTRACT

Sketches are the most abstract 2D representations of real-world objects. Although a sketch usually has geometrical distortion and lacks visual cues, humans can effortlessly envision a 3D object from it. This suggests that sketches encode the information necessary for reconstructing 3D shapes. Despite great progress achieved in 3D reconstruction from distortion-free line drawings, such as CAD and edge maps, little effort has been made to reconstruct 3D shapes from free-hand sketches. We study this task and aim to enhance the power of sketches in 3D-related applications such as interactive design and VR/AR games. Unlike previous works, which mostly study distortion-free line drawings, our 3D shape reconstruction is based on free-hand sketches. A major challenge for free-hand sketch 3D reconstruction comes from the insufficient training data and free-hand sketch diversity, e.g. individualized sketching styles. We thus propose data generation and standardization mechanisms. Instead of distortion-free line drawings, synthesized sketches are adopted as input training data. Additionally, we propose a sketch standardization module to handle different sketch distortions and styles. Extensive experiments demonstrate the effectiveness of our model and its strong generalizability to various free-hand sketches. Our code is publicly available at https://github.com/samaonline/3D-Shape-Reconstruction-from-Free-Hand-Sketches.

연구 동기 및 목표

• 3D 형상 복원을 위한 자유형 스케치와 3D 형상의 쌍이 부족한 데이터셋 문제를 해결하여 훈련 제약을 완화한다.
• 왜곡 없는 선도에서 훈련된 모델과 실제 자유형 스케치 간의 일반화 격차를 해소한다. 이는 기하학적 왜곡과 개인적 스타일을 수반한다.
• 단일 자유형 스케치에서 3D 형상을 복원할 수 있는 방법을 개발하여 상호작용형 3D 디자인 및 VR/AR 애플리케이션을 가능하게 한다.
• 왜곡과 스타일을 분리하여 스케치 변형에 대한 강건성을 향상시키는 스케치 표준화 모듈을 도입한다.

제안 방법

• 데이터 부족 문제를 해결하기 위해 3D 형상에서 유연한 렌더링을 통해 생성한 합성 스케치를 훈련 데이터로 사용한다.
• 스케치 왜곡과 스타일을 정규화하기 위해 스케치 변형 및 스타일 전이를 수행하는 스케치 표준화 모듈을 도입한다.
• 입력 스케치의 표준화된 시점(정규화된 시점)을 추정하기 위해 뷰 추정 모듈을 활용하여 재구성된 3D 형상의 자세 정렬을 가능하게 한다.
• 합성 스케치에서 3D 형상을 재구성하기 위해 딥 네트워크를 훈련하며, Chamfer Distance (CD)와 Earth Mover’s Distance (EMD)를 손실 함수로 조합하여 사용한다.
• 두 단계 훈련 파이프라인을 활용한다: 첫 번째 단계에서 입력 스케치에 표준화를 적용하고, 두 번째 단계에서 표준화된 표현을 사용해 3D 복원을 수행한다.
• 실제 자유형 스케치에서 방법을 검증하고, 교차 데이터셋 스케치 분류 및 제로샷 도메인 번역에 대한 제로샷 전이 성능을 입증한다.

실험 결과

연구 질문

• RQ1 합성 스케치에서 훈련된 3D 복원 모델이 다양한 스타일과 왜곡을 포함한 실제 자유형 스케치에 효과적으로 일반화될 수 있는가?
• RQ2 제안된 스케치 표준화 모듈이 다양한 스케치 스타일과 기하학적 왜곡에 걸쳐 복원 품질 향상에 얼마나 효과적인가?
• RQ3 명시적인 뷰 추정이 단일 뷰 스케치에서 재구성된 3D 형상의 정확성과 표준 자세 정렬에 기여하는가?
• RQ4 스케치 표준화 모듈이 교차 데이터셋 스케치 분류 및 제로샷 도메인 번역과 같은 후행 작업 성능 향상에 기여하는가?

주요 결과

• 스케치 표준화 모듈을 적용한 결과, 표준화 없이 훈련된 기준 모델 대비 Chamfer Distance (CD)는 6.5% 감소하고, Earth Mover’s Distance (EMD)는 10.4% 감소하여 성능 향상이 뚜렷하게 나타났다.
• 제거 실험 결과, 표준화 모듈 내에서 변형과 스타일 전이 기능을 모두 포함한 조합이 최고의 성능을 보였으며, CD = 86.1 × 10⁻⁴ 및 EMD = 16.0 × 10⁻²를 기록했다.
• Sketchy 데이터셋에서 스케치 표준화 모듈을 적용했을 때 교차 데이터셋 스케치 분류 정확도가 75.1%에서 78.1%로 3%p 향상되었다.
• 뷰 추정 모듈을 제거했을 때 정량적 결과로 CD와 EMD가 유의미하게 감소함을 확인하여 복원 정확도 향상에 기여함을 입증했다.
• 모델은 에지맵을 다리로 삼아 야간 및 합성 이미지에서 실세계 주간 이미지로의 제로샷 도메인 번역을 가능하게 하여 복원 외적 이식성도 입증했다.
• 정성적 결과에서 전체 모델은 특히 비행기나 램프와 같은 복잡한 물체에서 진정한 형상에 더 가까운 고품질의 3D 복원 결과를 생성함을 확인했다.