[논문 리뷰] Deep Level Sets: Implicit Surface Representations for 3D Shape Inference

Mateusz Michalkiewicz, Jhony Kaesemodel Pontes외 3명|arXiv (Cornell University)|2019. 01. 21.

3D Shape Modeling and Analysis참고 문헌 30인용 수 61

한 줄 요약

이 논문은 방향성 레벨셋 임피시트 표면으로 3D 모양을 예측하는 엔드투엔드 프레임워크를 제안하여 보셀 표현보다 재구성 정확도를 향상시키고 토폴로지의 유연한 처리를 가능하게 한다.

ABSTRACT

Existing 3D surface representation approaches are unable to accurately classify pixels and their orientation lying on the boundary of an object. Thus resulting in coarse representations which usually require post-processing steps to extract 3D surface meshes. To overcome this limitation, we propose an end-to-end trainable model that directly predicts implicit surface representations of arbitrary topology by optimising a novel geometric loss function. Specifically, we propose to represent the output as an oriented level set of a continuous embedding function, and incorporate this in a deep end-to-end learning framework by introducing a variational shape inference formulation. We investigate the benefits of our approach on the task of 3D surface prediction and demonstrate its ability to produce a more accurate reconstruction compared to voxel-based representations. We further show that our model is flexible and can be applied to a variety of shape inference problems.

연구 동기 및 목표

• 경계 보셀보다 임피시트 레벨셋 표현을 이용한 3D 모양 추정의 개선 동기를 제시한다.
• 레벨셋 임베딩의 제로 레벨셋이 객체 표면을 생성하도록 만드는 엔드투엔드 학습 가능 프레임워크를 개발한다.
• robust surface inference를 위한 변분 손실에 면적, 부피, 방향성 등의 기하학적 정규화 항을 포함한다.
• 레벨셋 표현이 유사한 네트워크 용량에서 보셀 표면보다 더 높은 재현성을 제공함을 보여준다.

제안 방법

• 3D 출력물을 임베딩 함수 phi의 제로 레벨셋으로 표현하고 phi에 대한 변분 손실을 최적화한다.
• 표면 Gamma를 데이터 포인트와 법선과 정렬시키기 위해 에너지 함수 E_X와 E_N을 정의한다.
• 표면 정보의 면적 E_area, 체적 E_vol 및 |grad(phi)|≈1을 촉진하는 E_sdf 항을 포함하는 정규화 항을 도입한다.
• 연속 손실을 구간 그리드 근사로 변환하여 미분 가능성을 보장하기 위해 delta_epsilon과 H_epsilon를 사용한다.
• 64차원 잠재 공간을 공유하는 간단한 3D 오토인코더 + CNN 예측 프레임워크를 학습시키고 레벨셋 기반과 보셀 베이스라인을 비교한다.

실험 결과

연구 질문

• RQ1 임피시트 레벨셋 표현이 변분 손실과 결합될 때 보셀 기반 방법보다 더 정확한 3D 모양 추정을 제공하는가?
• RQ2 면적, 부피 및 법선/방향성 항과 같은 기하학적 사전 정보가 레벨셋 프레임워크 내 재구성 품질에 어떤 영향을 미치는가?
• RQ3 단일 시점 입력에서 위상 변화에 강인하고 고해상도 표면 디테일을 얻을 수 있는가?

주요 결과

• 임피시트 레벨셋 표현은 대부분의 범주에서 20^3 및 30^3 해상도에서 보셀 점유보다 더 높은 IoU 점수를 산출한다.
• 표면 재구성의 정확도가 일반적으로 레벨셋 표현에서 더 낮은 Chamfer 거리를 나타내며, 20^3에서 더 큰 이점을 보이고 30^3에서 차이가 줄어든다.
• 레벨셋이 보셀보다 해상도가 증가함에 따라 개선 폭이 감소하며, 의자(chair)와 같은 특정 토폴로지 특성에서 이익이 더 작게 나타난다.
• 질적 결과는 레벨셋 접근법이 보셀 베이스라인보다 더 미세한 기하학적 디테일과 매끄러운 표면을 보여준다.
• 프레임워크는 보셀 방법과 유사한 성능을 달성하되 경계 정확도와 위상 유연성에서 향상된 이점을 제공한다.