[논문 리뷰] DeepSpline: Data-Driven Reconstruction of Parametric Curves and Surfaces

Jun Gao, Chengcheng Tang외 4명|arXiv (Cornell University)|2019. 01. 12.

Advanced Numerical Analysis Techniques참고 문헌 26인용 수 36

한 줄 요약

본 논문은 이미지 또는 포인트 클라우드로부터 2D에서 스플라인 곡선을 재구성하고 3D에서 스플라인 기반 표면을 재구성하는 딥 러닝 프레임워크를 제시하며, 계층적 RNN과 비지도 학습을 활용해 수작업 초기화를 우회한다.

ABSTRACT

Reconstruction of geometry based on different input modes, such as images or point clouds, has been instrumental in the development of computer aided design and computer graphics. Optimal implementations of these applications have traditionally involved the use of spline-based representations at their core. Most such methods attempt to solve optimization problems that minimize an output-target mismatch. However, these optimization techniques require an initialization that is close enough, as they are local methods by nature. We propose a deep learning architecture that adapts to perform spline fitting tasks accordingly, providing complementary results to the aforementioned traditional methods. We showcase the performance of our approach, by reconstructing spline curves and surfaces based on input images or point clouds.

연구 동기 및 목표

• 강건하고 고수준의 추상화로서 스플라인 기반 매개변수 표현을 이용한 기하학 재구성의 필요성과 의의를 제시한다.
• 가변 개수의 스플라인 곡선과 가변 제어점의 수를 처리하는 데이터 기반 프레임워크를 개발한다.
• 이미지 또는 포인트 클라우드에서 압출 또는 회전 표면의 비지도 3D 재구성으로 확장한다.
• 수동 초기화를 피하고 입력 모달리티에 걸쳐 작동하는 메커니즘을 제공한다.

제안 방법

• 스플라인 곡선과 제어점을 각각 예측하기 위해 Curve RNN과 Point RNN을 정의한다.
• 가변 개수의 제어점을 갖는 다수의 2D 스플라인 곡선을 재구성하기 위해 계층적 RNN을 도입한다.
• 다중 곡선 적합 중에 이미지 특징을 국소화하기 위한 어텐션 메커니즘을 도입한다.
• 예측된 곡선 집합을 비순서적(무정렬) 실제 곡선과 정렬하기 위해 헝가리안 매칭을 사용하고 MSE와 교차 엔트로피 항이 결합된 손실을 적용한다.
• 포인트 클라우드 간 Chamfer 거리를 손실로 사용하여 압출 또는 회전 표면의 비지도 3D 재구성으로 확장한다.
• 이미지에 대해서는 VGGNet, 포인트 클라우드에 대해서는 PointNet을 특징 추출기로 사용하고, 이들을 완전 연결 계층으로 입력해 스플라인 매개변수를 예측한다.

실험 결과

연구 질문

• RQ1 가변 개수의 곡선과 제어점이 있는 이미지 또는 포인트 클라우드에서 데이터 기반 모델이 매개 스플라인 곡선을 정확히 재구성할 수 있는가?
• RQ2 계층적 순환 구조가 최소한의 초기화로 어떻게 강건한 2D 스플라인 재구성을 가능하게 할 수 있는가?
• RQ3 이미지 또는 포인트 클라우드로부터 비지도 방식으로 압출 또는 회전 표면을 재구성하는 것이 가능한가?
• RQ4 예측 곡선과 실제 곡선 사이의 신뢰할 수 있는 대응을 가능하게 하는 메커니즘(예: 어텐션, 매칭)은 무엇인가?

주요 결과

• 모델은 Hierarchical RNN 내에서 Curve RNN과 Point RNN을 사용하여 가변 개수의 제어점을 갖는 2D 스플라인 곡선을 재구성할 수 있다.
• 이 방법은 고정되거나 가변적인 수의 제어점을 갖는 다중 스플라인 곡선을 지원하고, 어텐션과 정렬을 위한 이분 매칭 스킴을 도입한다.
• 비지도 3D 재구성 경로는 2D 입력으로부터 스플라인 곡선을 예측하고 이를 압출하거나 회전시켜 표면을 회수하며 Chamfer 거리를 손실로 사용한다.
• 추론 속도가 빠르며, 단일 이미지에서의 테스트가 12 ms로 보고된다.
• 시스템은 대규모 합성 데이터세트(50만 샘플)에서 학습하고 일반화 평가를 위해 실제 이미지에서 평가된다.
• 손실은 제어점 위치 오차, 곡선-종료 확률 및 점-종료 확률을 결합하고, 다중 곡선의 경우 매칭 기반 재구성 손실을 포함한다.