[논문 리뷰] Sketch2Model: View-Aware 3D Modeling from Single Free-Hand Sketches

Song–Hai Zhang, Yuan-Chen Guo외 1명|arXiv (Cornell University)|2021. 05. 14.

3D Shape Modeling and Analysis참고 문헌 40인용 수 5

한 줄 요약

이 논문은 단일 수동 스케치에서 고품질 3D 메쉬를 생성하기 위해 예측된 또는 사용자가 지정한 시점 정보에 명시적으로 조건을 부여하는 시점 인식 3D 재구성 방법인 Sketch2Model를 제안한다. 시점과 형상 특징을 분리하고 무작위 시점 강화 학습을 사용함으로써 스케치 해석의 모호성을 줄이며, 특히 낙제된 스케치에서 뛰어난 재구성 품질과 사용자 의도 일치도를 달성한다.

ABSTRACT

We investigate the problem of generating 3D meshes from single free-hand sketches, aiming at fast 3D modeling for novice users. It can be regarded as a single-view reconstruction problem, but with unique challenges, brought by the variation and conciseness of sketches. Ambiguities in poorly-drawn sketches could make it hard to determine how the sketched object is posed. In this paper, we address the importance of viewpoint specification for overcoming such ambiguities, and propose a novel view-aware generation approach. By explicitly conditioning the generation process on a given viewpoint, our method can generate plausible shapes automatically with predicted viewpoints, or with specified viewpoints to help users better express their intentions. Extensive evaluations on various datasets demonstrate the effectiveness of our view-aware design in solving sketch ambiguities and improving reconstruction quality.

연구 동기 및 목표

• 단일 수동 스케치만을 사용하여 초보자 사용자에게 빠르고 직관적인 3D 모델링을 가능하게 하기 위해.
• 낮은 그림 품질, 기하학적 왜곡, 시각적 단서 부족으로 인한 스케치 기반 3D 재구성의 모호성 문제를 해결하기 위해.
• 시점 정보에 명시적인 조건을 주어 생성 과정을 조정함으로써 재구성 품질과 사용자 의도 충실도를 향상시키기 위해.
• 학습 중에 볼 수 없었던 외부 분포(out-of-distribution) 스케치, 특히 실제 세계의 손그림 입력에 잘 일반화되는 방법을 개발하기 위해.
• 합성 학습 스케치와 실제 세계의 수동 스케치 사이의 도메인 갭을 도메인 적응을 통해 해소하기 위해.

제안 방법

• 시점 코드와 형상 코드로 잠재 특징을 분리하는 분리형 인코더-디코더 아키텍처를 사용한다.
• 시점 오토인코더를 학습시켜 시점을 잠재 시점 공간으로 매핑하고, 다시 그 공간에서 시점을 복원함으로써 시점 코드에만 시점 정보가 인코딩되도록 보장한다.
• 무작위 시점 강화 학습을 도입하여 학습 중 디코더에 진짜 시점과 무작위로 샘플된 시점을 모두 공급함으로써 시점 조건화된 생성을 강제한다.
• 생성된 3D 메쉬의 현실성과 구조적 정확도를 향상시키기 위해 형상 판별기(discriminator)를 사용한다.
• 학습 안정성과 생성 품질 향상을 위해 다중 척도 점진적 학습을 적용한다.
• 합성 학습 스케치와 Sketchy 및 Tu-Berlin과 같은 데이터셋의 실제 수동 스케치 간의 일치를 도메인 판별기를 사용하여 도메인 적응을 적용한다.

Figure 1: Ambiguities in free-hand sketches. It could be hard to determine how the sketched object is posed.

실험 결과

연구 질문

• RQ1 시점 지정이 단일 수동 스케치에서의 3D 재구성에서 모호성을 상당히 줄일 수 있는가?
• RQ2 생성 과정에 시점 정보를 조건으로 주는 것이 재구성 품질과 사용자 의도 일치도를 어떻게 향상시키는가?
• RQ3 시점 인식 아키텍처가 학습 중에 볼 수 없었던 실제 세계의 낙제된 스케치, 즉 외부 분포 스케치에 얼마나 잘 일반화되는가?
• RQ4 합성 스케치에서 시점 조건화된 3D 생성을 학습하기 위해 가장 효과적인 학습 전략은 무엇인가?
• RQ5 도메인 적응은 합성 스케치와 실제 수동 스케치 사이의 격차를 얼마나 효과적으로 해소하는가?

주요 결과

• ShapeNet-Synthetic 데이터셋에서 Sketch2Model는 기준 모델들보다 높은 바이너리 볼륨 IoU 점수를 기록하며, 특히 진짜 시점을 사용할 경우에 그 중요성을 입증한다.
• 제거 실험 결과, 무작위 시점 강화 학습과 형상 판별기가 예측된 시점과 진짜 시점 모두에서 성능 향상에 크게 기여하는 것으로 나타났다.
• 도메인 적응을 적용한 결과, 실제 세계의 ShapeNet-Sketch 데이터셋에서 성능이 뚜렷이 향상되었으며, 특히 항공기, 자동차, 소파 카테고리에서 두드러졌다.
• Sketchy 및 Tu-Berlin 데이터셋에서의 정성적 결과는 Sketch2Model가 입력 스케치의 경계에 더 잘 맞는 메쉬를 생성하고 현실감 있는 품질을 확보함을 보여준다.
• 왜곡된 항공기나 테이블과 같은 외부 분포 형상에 대해서도 스케치 일치도와 형상 현실감을 효과적으로 균형 잡고 있다.
• 투영된 실루엣 비교 결과, 시점 인식 생성 방식이 시점 무관 방법보다 더 정확한 스케치-메쉬 대응을 이끌어내는 것으로 확인되었다.

Figure 2: Network architecture of (a) baseline methods [ 20 , 22 ] and (b) our method. Purple and blue blocks denote inputs and trainable parameters respectively. $\mathcal{R}$ is the differentiable rendering module. Our method extends the encoder-decoder model by decomposing image features into sha