[논문 리뷰] ANISE: Assembly-based Neural Implicit Surface rEconstruction

Dmitry Petrov, Matheus Gadelha외 2명|arXiv (Cornell University)|2022. 05. 27.

Manufacturing Process and Optimization인용 수 5

한 줄 요약

ANISE는 먼저 부품 변환을 예측하고 나서 부품별 잠재 코드를 디코딩하여 이미지 또는 희소 점군에서 3D 형상을 복원하는 계층적이고 부품 인식 신경 은닉 표면 복원 방법을 제안한다. 이는 부품 인식 복원에서 최고 성능을 달성하며, 이전 방법들보다 약 10배 작고도 부품 검색을 통해 고해상도이고 제어 가능한 형상 조립을 가능하게 한다.

ABSTRACT

We present ANISE, a method that reconstructs a 3D~shape from partial observations (images or sparse point clouds) using a part-aware neural implicit shape representation. The shape is formulated as an assembly of neural implicit functions, each representing a different part instance. In contrast to previous approaches, the prediction of this representation proceeds in a coarse-to-fine manner. Our model first reconstructs a structural arrangement of the shape in the form of geometric transformations of its part instances. Conditioned on them, the model predicts part latent codes encoding their surface geometry. Reconstructions can be obtained in two ways: (i) by directly decoding the part latent codes to part implicit functions, then combining them into the final shape; or (ii) by using part latents to retrieve similar part instances in a part database and assembling them in a single shape. We demonstrate that, when performing reconstruction by decoding part representations into implicit functions, our method achieves state-of-the-art part-aware reconstruction results from both images and sparse point clouds.When reconstructing shapes by assembling parts retrieved from a dataset, our approach significantly outperforms traditional shape retrieval methods even when significantly restricting the database size. We present our results in well-known sparse point cloud reconstruction and single-view reconstruction benchmarks.

연구 동기 및 목표

• 구성적 3D 형상을 자연스럽게 배열된 부품으로 모델링하고 제어 가능한 능력을 갖춘 신경 은닉 방법의 한계를 해결하기 위해.
• 이미지 또는 희소 점군과 같은 부분 관찰에서 정확하고 부품 인식 가능한 3D 복원을 가능하게 하기 위해.
• 형상 구조와 기하학 예측을 분리하여 복원 품질과 일반화 능력을 향상시키기 위해.
• 참조 데이터베이스에서 실제 부품을 검색하여 제어 가능한 형상 편집과 복원을 가능하게 하기 위해.
• 복원 기반 검색을 위한 참조 데이터베이스의 크기를 줄이되, 품질은 유지하거나 향상시키기 위해.

제안 방법

• ANISE는 이중 단계 아키텍처를 사용한다: 먼저 각 부품의 기하학적 변환(위치 및 스케일)을 예측하고, 그 다음 부품 전용 잠재 코드를 예측하여 표면 기하학을 인코딩한다.
• 모델은 예측된 변환에 기반해 부품 기하학 예측을 조건화함으로써 구조적이고 일관된 형상 조립을 가능하게 한다.
• 최종 형상 복원은 부품 잠재 코드를 신경 은닉 함수로 디코딩하여 조합하거나, 참조 데이터베이스에서 유사한 부품을 검색하고 조립하는 방식으로 수행된다.
• 모델은 전체 형상 SDF의 지도를 사용해 엔드 투 엔드로 훈련되며, 기하학적 정확도 향상을 위한 미세조정이 가능하다.
• 평가를 위한 부품 매칭은 1,000점 샘플링된 부품 클라우드에 기반한 캐머퍼 거리와 허그리안 매칭을 사용한다.
• 이 방법은 고정된 부품 수를 가정하지 않으며, 순차적 접근 방식과 달리 부품 순서에 대해 불변이다.

실험 결과

연구 질문

• RQ1 계층적이고 부품 인식 신경 은닉 모델이 부품 간식 및 순차적 조립 방법보다 3D 복원에서 뛰어난 성능을 낼 수 있는가?
• RQ2 예측된 부품 변환에 기반해 기하학 예측을 조건화하면 복원 품질과 구조 일관성이 향상되는가?
• RQ3 부품 수준의 매칭을 사용한 검색 기반 복원이 전체 형상 검색보다 더 나은 결과를 낼 수 있는가, 특히 데이터베이스 크기가 작을 경우에?
• RQ4 구조와 기하학 학습의 분리가 일반화 능력과 부분 관찰에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 ANISE는 얼마나 뛰어난 일반화 능력을 보이며, 전처리 오차에 대해 어떻게 대처하는가?

주요 결과

• 단일 뷰 복원에서 ANISE는 PQ-Net 대비 F-Score를 16.8% 향상시켜 부품 인식 복원 품질이 뛰어나다는 것을 입증한다.
• 부품 디코딩을 통한 복원에서 ANISE는 의자와 테이블 모두에서 최고 성능을 기록한 Chamfer Distance(CD)를 달성하였으며, 표면 복원 품질에서 StructureNet을 능가한다.
• 검색 기반 복원에서 ANISE는 이전 방법들과 비교해 약 10배 작은 데이터베이스를 사용함에도 유사하거나 더 나은 성능을 기록하였다.
• 절단 실험 결과, 변환 예측에 기반해 기하학 예측을 조건화하는 것이 무조건적 예측보다 성능 향상이著명하다는 것을 확인하였다.
• SDF 지도를 통한 미세조정은 특히 작은 부품의 형태 비율과 기하학을 크게 향상시키며, 초기 학습 모델은 단일 부품 출력으로 붕괴되는 경향이 있다.
• 정성적 결과에서 ANISE는 전처리 오차에 잘 일반화되어 있음을 보여주었으며, 입력 노이즈나 결함이 있더라도 자연스러운 형상 구조를 유지한다.