[논문 리뷰] Local Deep Implicit Functions for 3D Shape

Kyle Genova, Forrester Cole외 3명|arXiv (Cornell University)|2019. 12. 12.

3D Shape Modeling and Analysis참고 문헌 37인용 수 5

한 줄 요약

이 논문은 SIF 기반 공간 분해와 딥 네ural 네트워크를 활용해 형태를 구조적인 국소 음함수로 분해하는 3D 형태 표현인 로컬 딥 음함수(LDIF)를 소개한다. LDIF는 파라미터 수의 1% 미만으로 OccNet보다 형태 복원에서 10.3점 높은 F-Score를 달성하면서도 깊이 이미지 보완 및 미학습 클래스로의 일반화 성능이 뛰어나다.

ABSTRACT

The goal of this project is to learn a 3D shape representation that enables accurate surface reconstruction, compact storage, efficient computation, consistency for similar shapes, generalization across diverse shape categories, and inference from depth camera observations. Towards this end, we introduce Local Deep Implicit Functions (LDIF), a 3D shape representation that decomposes space into a structured set of learned implicit functions. We provide networks that infer the space decomposition and local deep implicit functions from a 3D mesh or posed depth image. During experiments, we find that it provides 10.3 points higher surface reconstruction accuracy (F-Score) than the state-of-the-art (OccNet), while requiring fewer than 1 percent of the network parameters. Experiments on posed depth image completion and generalization to unseen classes show 15.8 and 17.8 point improvements over the state-of-the-art, while producing a structured 3D representation for each input with consistency across diverse shape collections.

연구 동기 및 목표

• 정확한 표면 복원, 압축 저장, 효율적 계산, 다양한 형태 카테고리 간 일반화를 가능하게 하는 3D 형태 표현을 개발하기 위해.
• 단일 잠재 벡터 기반 딥 음함수의 한계를 해결하기 위해, 즉 복잡성, 효율성, 일반화 측면에서 어려움을 겪는 문제를 해결하기 위해.
• SIF의 구조적 일관성과 딥 네ural 네트워크의 표현력의 조합을 통해 국소 형태 세부 정보를 효과적으로 표현하기 위해.
• 3D 메시 또는 포즈된 깊이 이미지로부터 엔드 투 엔드 학습을 가능하게 하여 오토에코딩, 깊이 보완, 부분 표면 복원을 지원하기 위해.
• 다양한 3D 비전 작업에서 성능을 향상시키면서도 모델 복잡성을 줄이기 위해.

제안 방법

• LDIF는 SIF 분해에 기반한 가우시안 모양의 영역에서 정의된 국소 음함수들의 합으로 3D 형태를 표현한다.
• 각 국소 영역는 작은 딥 네ural 네트워크에 의해 디코딩되는 잠재 벡터와 연결되며, 이는 가우시안 영역 위에서 잔차 함수를 예측하여 세밀한 기하학적 세부 정보를 포착한다.
• PointNet 기반 인코더는 각 국소 영역 내 3D 점을 처리하여 국소화된 잠재 코드를 생성함으로써 특징 표현과 일반화 능력을 향상시킨다.
• 공유된 SIF 템플릿을 사용하여 다양한 형태 간 일관된 공간 분해를 보장함으로써 제로샷 일반화를 가능하게 한다.
• 통합 아키텍처를 사용하여 형태 복원, 깊이 이미지 보완, 부분 표면 복구를 동시에 최적화하는 프레임워크를 구현한다.
• 향상된 사항으로는 회전 자유도, 대칭 제약 조건, 더 적은 층수와 더 작은 잠재 코드를 가진 단순화된 DIFs가 포함된다.

실험 결과

연구 질문

• RQ1 공간을 국소 영역으로의 구조적 분해가 딥 음함수의 표현력과 효율성 향상에 기여하는가?
• RQ2 가우시안 영역 위에서 딥 네ural 네트워크를 활용해 국소 잔차를 예측하는 것이 전역 음함수보다 더 나은 표면 복원 성능을 낼 수 있는가?
• RQ3 LDIF 프레임워크는 미세조정 없이도 학습되지 않은 형태 카테고리로 일반화 가능한가?
• RQ4 PointNet을 통한 국소 인코딩이 직접 잠재 벡터 예측보다 복원 정확도와 일반화 능력 측면에서 더 우수한가?
• RQ5 명시적인 구조적 사전 지식(예: 대칭, 회전)을 통합할 경우 성능 향상과 함께 파라미터 수 감소에 얼마나 기여하는가?

주요 결과

• LDIF는 학습된 클래스의 형태에 대해 3D 오토에코딩에서 OccNet보다 F-Score가 10.3점 높으며, 네트워크 파라미터 수의 1% 미만을 사용한다.
• 미학습된 형태 카테고리로의 일반화에 있어서 LDIF는 최신 기술 대비 F-Score를 17.8점 향상시켰다.
• 깊이 이미지 보완 작업에서 LDIF는 OccNet 대비 F-Score를 15.8점 향상시켰다.
• 국소 PointNet 인코더를 비활성화할 경우 F-Score가 11.4점 감소하여, 이는 성능 향상과 일반화 능력 향상에 있어 핵심적인 역할을 함을 시사한다.
• 깊이 이미지 대신 XYZ 이미지를 입력으로 사용할 경우 모든 작업에서 훨씬 더 강력한 결과를 얻을 수 있었다.
• 부분 대칭 제약 조건을 포함시킬 경우 정성적 결과가 향상되고 자유도가 감소하나 정확도는 유지된다.