[논문 리뷰] Deep Structured Implicit Functions

Kyle Genova, Forrester Cole외 3명|arXiv (Cornell University)|2019. 12. 12.

3D Shape Modeling and Analysis참고 문헌 25인용 수 30

한 줄 요약

이 논문은 정확하고 효율적이며 일관된 표면 재구성에 적합한 3D 형태 표현인 로컬 딥 암묵 함수(LDIF)를 소개한다. LDIF는 파라미터 수의 1% 미만을 사용하면서 OccNet보다 F-Score를 10.3점 높게 달성하며, 깊이 영상 보완 및 제로샷 일반화 성능을 각각 15.8점과 17.8점 향상시킨다.

ABSTRACT

The goal of this project is to learn a 3D shape representation that enables accurate surface reconstruction, compact storage, efficient computation, consistency for similar shapes, generalization across diverse shape categories, and inference from depth camera observations. Towards this end, we introduce Local Deep Implicit Functions (LDIF), a 3D shape representation that decomposes space into a structured set of learned implicit functions. We provide networks that infer the space decomposition and local deep implicit functions from a 3D mesh or posed depth image. During experiments, we find that it provides 10.3 points higher surface reconstruction accuracy (F-Score) than the state-of-the-art (OccNet), while requiring fewer than 1 percent of the network parameters. Experiments on posed depth image completion and generalization to unseen classes show 15.8 and 17.8 point improvements over the state-of-the-art, while producing a structured 3D representation for each input with consistency across diverse shape collections.

연구 동기 및 목표

• 깊이 영상 또는 메쉬로부터 정확한 표면 재구성을 가능하게 하는 3D 형태 표현을 학습하는 것.
• 유사한 형태 간 일관성을 유지하면서도 압축된 저장 및 효율적인 계산을 달성하는 것.
• 추론 도중에 미리 보지 않은 형태 유형으로도 효과적으로 일반화하는 것.
• 단일 뷰 깊이 관측에서 구조적이고 분해 가능한 3D 표현을 가능하게 하는 것.
• 재구성 정확도, 파라미터 효율성, 제로샷 일반화 성능에서 최신 기술을 능가하는 것.

제안 방법

• LDIF는 공간 분할 영역 위에서 정의된 로컬 암묵 함수의 구조적 집합으로 3D 공간을 분해한다.
• 신경망은 3D 메쉬 또는 자세가 조정된 깊이 영상에서 공간 분할과 로컬 암묵 함수의 파라미터를 추론한다.
• 각 로컬 암묵 함수는 자신의 지역 영역 내 표면으로부터 부호 거리 값을 예측한다.
• 구조적 일관성과 공간 일관성을 보장하기 위해 미분 가능한 공간 분할 메커니즘을 사용한다.
• 표면 재구성 및 일반화 성능을 최적화하기 위해 엔드 투 엔드로 네트워크를 훈련한다.
• 지역화된, 파라미터화된 암묵 함수를 활용하여 효율적인 추론과 압축된 저장을 지원한다.

실험 결과

연구 질문

• RQ1 전역 암묵 함수에 비해 공간을 로컬 암묵 함수의 구조적 분해로 나누는 것이 3D 형태 재구성 정확도를 향상시킬 수 있는가?
• RQ2 고정밀도를 유지하면서 이러한 표현은 얼마나 효율적으로 학습되고 저장될 수 있는가?
• RQ3 제한된 훈련 데이터에서 미리 보지 않은 형태 유형으로 LDIF가 얼마나 잘 일반화되는가?
• RQ4 단일 뷰 깊이 영상으로부터 높은 일관성과 정확도를 갖는 완전한 형태를 재구성할 수 있는가?
• RQ5 OccNet과 같은 최신 기술과 비교해 LDIF는 성능과 파라미터 효율성에서 어떤가?

주요 결과

• LDIF는 표면 재구성에서 OccNet보다 F-Score를 10.3점 높게 달성하여 뛰어난 정확도를 입증한다.
• OccNet이 사용하는 파라미터 수의 1% 미만으로도 충분히 작동하므로 높은 파라미터 효율성을 보여준다.
• 최신 기술 대비 깊이 영상 보완 성능을 15.8점 향상시켰다.
• 미리 보지 않은 형태 유형으로의 제로샷 일반화 성능에서 17.8점 향상되었다.
• 다양한 형태 컬렉션 간에 학습된 표현은 구조적이며 일관성이 있어 깊이 관측에서 신뢰할 수 있는 추론이 가능하다.
• LDIF는 압축되고 효율적이며 일반화 가능한 3D 형태 표현을 제공하면서도 높은 재구성 품질을 유지한다.