[논문 리뷰] SketchSampler: Sketch-based 3D Reconstruction via View-dependent Depth Sampling

Chenjian Gao, Qian Yu외 3명|arXiv (Cornell University)|2022. 08. 14.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SketchSampler는 흩어진 스케치와 조밀한 3D 포인트 클라우드 사이의 도메인 갭을 줄이기 위해 밀도 맵 프록시를 통한 시점에 의존하는 깊이 샘플링을 활용하는 새로운 스케치 기반 3D 재구성 방법을 제안한다. 먼저 스케치를 정보가 풍부한 2D 표현으로 변환한 후, 두 단계의 확률적 샘플링 과정—먼저 학습된 밀도 맵에서 2D 좌표를 복원하고, 그 다음 광선을 따라 깊이 값을 예측함으로써, 정밀도와 세부 사항 유지 측면에서 기존의 베이스라인을 능가하는 최신 기술 수준의 성능을 달성한다. 이는 정량적 및 정성적 평가에서 모두 슈퍼리어한 결과를 보였다.

ABSTRACT

Reconstructing a 3D shape based on a single sketch image is challenging due to the large domain gap between a sparse, irregular sketch and a regular, dense 3D shape. Existing works try to employ the global feature extracted from sketch to directly predict the 3D coordinates, but they usually suffer from losing fine details that are not faithful to the input sketch. Through analyzing the 3D-to-2D projection process, we notice that the density map that characterizes the distribution of 2D point clouds (i.e., the probability of points projected at each location of the projection plane) can be used as a proxy to facilitate the reconstruction process. To this end, we first translate a sketch via an image translation network to a more informative 2D representation that can be used to generate a density map. Next, a 3D point cloud is reconstructed via a two-stage probabilistic sampling process: first recovering the 2D points (i.e., the x and y coordinates) by sampling the density map; and then predicting the depth (i.e., the z coordinate) by sampling the depth values at the ray determined by each 2D point. Extensive experiments are conducted, and both quantitative and qualitative results show that our proposed approach significantly outperforms other baseline methods.

연구 동기 및 목표

• 단일 뷰 3D 재구성에서 흩어진, 비정규적인 스케치와 조밀하고 정규적인 3D 형태 사이의 큰 도메인 갭을 해결한다.
• 정보 손실로 인해 세밀한 스케치 세부 사항을 유지하지 못하는 전역 특징 기반 방법의 한계를 극복한다.
• 스케치와 2D 포인트 클라우드 밀도 맵 사이의 공간 대응 관계를 활용하여 재구성 정밀도를 향상시킨다.
• 2D 좌표 복원과 깊이 예측을 분리하는 확률 모델링을 사용한 두 단계 샘플링 프레임워크를 개발한다.
• 스케치 번역 모듈을 도입하여 누락된 스케치 정보를 복원하면서도 공간적 구조를 유지함으로써 일반화 능력과 견고성을 향상시킨다.

제안 방법

• 입력 스케치를 더 정보가 풍부한 2D 표현으로 변환하기 위해 CNN 기반 인코더-디코더 네트워크(Sketch Translator)를 사용하여 특징의 완전성을 향상시킨다.
• 변환된 스케치에서 2D 밀도 맵을 예측하며, 각 픽셀 값은 해당 위치에 3D 포인트가 이미지 평면에 投영될 가능성을 나타낸다.
• 예측된 밀도 맵에서 2D 좌표(x, y)의 확률적 샘플링을 수행하여 2D 포인트 클라우드 프록시를 생성한다.
• 각 샘플된 (x, y) 위치에 대해, 조건부 분포 P(Z|x, y, I)를 사용하여 해당 광선을 따라 깊이(z) 값을 샘플링함으로써 깊이 값을 예측한다. 이는 가림과 깊이 순서를 모델링한다.
• 전체 3D 포인트 클라우드 생성을 두 단계 샘플링 과정으로 모델링한다: 먼저 밀도 맵에서 P(X, Y|I)를 추정하고, 그 다음에 P(Z|x, y, I)를 통해 깊이 예측을 수행한다.
• Chamfer Distance, Earth Mover’s Distance, FPD를 최적화하는 데 초점을 맞춘 포인트 클라우드 재구성에 대한 지도 학습을 통해 합성 데이터셋(Synthetic-LineDrawing)에서 모델을 종합적으로 학습한다.

실험 결과

연구 질문

• RQ1 스케치에서 유도된 밀도 맵가 스케치 기반 3D 재구성에서 도메인 갭을 줄이기 위한 효과적인 프록시가 될 수 있는가?
• RQ2 밀도 맵에서 2D 좌표를 먼저 복원하고, 그 다음에 깊이를 예측하는 두 단계 샘플링 전략이 직접 3D 좌표 예측에 비해 재구성 정밀도를 향상시키는가?
• RQ3 스케치 번역 모듈이 공간 구조를 유지하면서도 누락된 구조적 세부 사항을 얼마나 효과적으로 복원하는가?
• RQ4 밀도 가이던스 샘플링이 공간적으로 비균일한 3D 포인트 분포를 모델링하는 데 있어 균일한 샘플링보다 얼마나 뛰어난가?
• RQ5 제안된 방법이 훈련 분포를 벗어난 새로운 객체 유형과 비정형 형태로 일반화되는가?

주요 결과

• SketchSampler는 Synthetic-LineDrawing 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, Chamfer Distance는 0.982 × 10⁻³, EMD는 4.534 × 10⁻², FPD는 0.580 × 10, Vox-IOU는 0.578를 기록하였다.
• 제거 실험 결과, 스케치 번역기의 기여도가 뚜렷하게 드러났다: 디코더를 제거하면 CD가 1.193 × 10⁻³로 증가하여, 향상된 특징 표현의 중요성을 입증하였다.
• 밀도 가이던스 샘플러는 균일한 샘플러보다 성능이 뛰어나며, FPD는 0.580 vs. 0.841로 낮고, 형태 정밀도도 더 뛰어나다.
• 진짜 밀도 맵을 사용한 변형(Ours_real)은 최고의 성능을 기록하였으며(CD: 0.907 × 10⁻³, FPD: 0.562 × 10), 예측된 밀도 맵가 실제 분포에 강력한 프록시임을 검증하였다.
• 모델은 훈련 데이터 외의 클래스, 특히 Sketchy 및 TU-Berlin 데이터셋의 비정형 물체에 대해서도 잘 일반화되어, 미세조정 없이도 신뢰할 수 있고 세밀한 3D 재구성을 생성한다.
• 정성적 결과에서 SketchSampler는 스케치에 변형이나 부정확성이 포함되어 있어도 세밀한 스케치 세부 사항을 충실하게 유지하며, 카테고리 기반 형태 사전 지식보다 스케치의 정확성을 우선시함을 보였다.