[논문 리뷰] 3DN: 3D Deformation Network

Weiyue Wang, Duygu Ceylan외 2명|arXiv (Cornell University)|2019. 03. 08.

3D Shape Modeling and Analysis참고 문헌 36인용 수 10

한 줄 요약

3DN은 소스 메ッシュ의 토폴로지를 유지하면서 정점별 이동 벡터를 예측하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 기울기 가능 메시 샘플링 연산자를 도입함으로써 다양한 메시 밀도를 처리하고, 2D 이미지, 3D 메시, 포인트 클라우드와 같은 다양한 타깃에 대해 최신 기술 수준의 변형 품질을 달성한다.

ABSTRACT

Applications in virtual and augmented reality create a demand for rapid creation and easy access to large sets of 3D models. An effective way to address this demand is to edit or deform existing 3D models based on a reference, e.g., a 2D image which is very easy to acquire. Given such a source 3D model and a target which can be a 2D image, 3D model, or a point cloud acquired as a depth scan, we introduce 3DN, an end-to-end network that deforms the source model to resemble the target. Our method infers per-vertex offset displacements while keeping the mesh connectivity of the source model fixed. We present a training strategy which uses a novel differentiable operation, mesh sampling operator, to generalize our method across source and target models with varying mesh densities. Mesh sampling operator can be seamlessly integrated into the network to handle meshes with different topologies. Qualitative and quantitative results show that our method generates higher quality results compared to the state-of-the art learning-based methods for 3D shape generation. Code is available at github.com/laughtervv/3DN.

연구 동기 및 목표

• 2D 이미지, 3D 포인트 클라우드 또는 타깃 메시와 같은 다양한 입력으로부터 고품질 3D 메시 변형을 생성하는 과제를 해결한다.
• 고정된 메시 토폴로지 또는 볼륨/포인트 기반 표현을 가정하는 기존 학습 기반 방법의 한계를 극복한다.
• 대칭성과 표면 매끄러움과 같은 전역 기하 제약 조건을 활용하여 자연스럽고 토폴로지 유지 변형을 가능하게 한다.
• 소스 및 타깃 모델의 변동하는 메시 밀도를 처리하기 위해 기울기 가능 메시 샘플링 연산자를 개발한다.
• Chamfer 거리와 지구 이동 거리와 같은 기울기 가능 손실을 사용하여 비지도 방식으로 네트워크를 훈련시킨다.

제안 방법

• 소스 메시와 타깃 입력(2D 이미지, 3D 메시 또는 포인트 클라우드)으로부터 특징을 추출하기 위해 글로벌 특징 인코더를 사용한다.
• 각 소스 메시 정점의 3D 이동 벡터를 예측하기 위해 학습 가능한 오프셋 디코더를 활용한다.
• 정점 특징을 메시 표면에 샘플된 점 집합에 투영하는 기울기 가능 메시 샘플링 연산자를 도입한다.
• 변형된 소스 메시와 타깃 간의 비지도 손실—Chamfer 거리와 지구 이동 거리—를 포인트 클라우드 표현 기반으로 계산한다.
• 보조 손실으로 대칭성 손실(대칭 구조 유지), 메시 라플라시안 손실(표면 매끄러움), 국소 순열 불변성 손실(강건성 향상)을 통합한다.
• 디코딩 과정에서 글로벌 특징와 정점 위치를 융합하여 변형의 공간 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 지정된 정점 대응 관계가 없는 상태에서 딥 러닝 모델이 고품질 3D 메시 변형을 생성할 수 있는가?
• RQ2 소스 및 타깃 모델의 다양한 메시 밀도와 토폴로지에 대해 신경망을 어떻게 강건하게 만들 수 있는가?
• RQ3 쌍체 지도 없이도 Chamfer 거리와 지구 이동 거리와 같은 비지도 손실이 효과적인 메시 변형을 이끌어내는 데 얼마나 기여할 수 있는가?
• RQ4 대칭성과 표면 매끄러움과 같은 기하 사전 지식을 기울기 가능 방식으로 효과적으로 통합할 수 있는가?
• RQ5 실제 입력(예: 온라인 제품 이미지 또는 부분적인 RGBD 스캔)에 대해 이 방법은 얼마나 잘 일반화되는가?

주요 결과

• 3DN은 ShapeNet 렌더링 이미지에서 최신 기술 수준의 성능을 달성하였으며, Chamfer Distance는 4.50 (×1000), EMD는 2.06 (×0.01), IoU는 41.0%를 기록하였다.
• 대칭성 손실을 제거하면 Chamfer Distance는 4.78로 증가하고 IoU는 36.7%로 감소하여 대칭형 형상 생성에서의 중요성을 입증한다.
• 메시 라플라시안 손실은 더 매끄러운 변형을 유도하며, 이 손실을 제거하면 EMD는 2.08로 증가하고 CD는 4.55로 상승한다.
• 국소 순열 불변성 손실은 강건성을 향상시키며, 이를 제거하면 CD는 5.31로 증가하고 EMD는 2.96로 상승한다.
• 중간 레이어 특징 융합은 수렴을 악화시키며, CD는 6.63으로 증가하고 EMD는 3.03으로 상승하여 훈련 안정성에 부정적 영향을 미친다.
• 모델은 실제 제품 이미지와 부분적인 스캔에 대해 잘 일반화되며, 합성 데이터만으로 훈련되었음에도 불구하고 AtlasNet과 Pixel2Mesh를 능가하는 정성적 성능을 보였다.