[논문 리뷰] Learning to Infer Implicit Surfaces without 3D Supervision

Shichen Liu, Shunsuke Saito외 2명|arXiv (Cornell University)|2019. 11. 02.

3D Shape Modeling and Analysis인용 수 89

한 줄 요약

요약: 단일 또는 다중 시점 2D 이미지에서 암시적 3D 표면을 무감독으로 학습하는 레이 기반 필드 프로빙 방법과 기하학적 정규화를 사용하여 3D 감독 없이 토폴로지 의식적 형태를 고충실도로 달성한다.

ABSTRACT

Recent advances in 3D deep learning have shown that it is possible to train highly effective deep models for 3D shape generation, directly from 2D images. This is particularly interesting since the availability of 3D models is still limited compared to the massive amount of accessible 2D images, which is invaluable for training. The representation of 3D surfaces itself is a key factor for the quality and resolution of the 3D output. While explicit representations, such as point clouds and voxels, can span a wide range of shape variations, their resolutions are often limited. Mesh-based representations are more efficient but are limited by their ability to handle varying topologies. Implicit surfaces, however, can robustly handle complex shapes, topologies, and also provide flexible resolution control. We address the fundamental problem of learning implicit surfaces for shape inference without the need of 3D supervision. Despite their advantages, it remains nontrivial to (1) formulate a differentiable connection between implicit surfaces and their 2D renderings, which is needed for image-based supervision; and (2) ensure precise geometric properties and control, such as local smoothness. In particular, sampling implicit surfaces densely is also known to be a computationally demanding and very slow operation. To this end, we propose a novel ray-based field probing technique for efficient image-to-field supervision, as well as a general geometric regularizer for implicit surfaces, which provides natural shape priors in unconstrained regions. We demonstrate the effectiveness of our framework on the task of single-view image-based 3D shape digitization and show how we outperform state-of-the-art techniques both quantitatively and qualitatively.

연구 동기 및 목표

• abundant 2D 이미지 without 3D ground-truth supervision. 본 연구의 목표는 3D 그라운드 트 truth 감독 없이 다량의 2D 이미지로부터 고품질 3D 형태를 학습하는 것이다.
• 암시적 표면 표현을 활용하여 임의의 토폴로지와 다중 해상 디테일을 처리한다.
• 레이 기반 프로빙 프레임워크를 통해 이미지-필드 지도화를 Efficient하게 개발한다.
• 국소 표면 매끄러움과 타당한 법선을 보장하기 위한 기하학적 정규화를 도입한다.

제안 방법

• 이미지 특징에서 디코딩된 신경 암시 필드로 점유 확률을 정의한다.
• 암시 필드를 탐색하기 위해 구면 영역을 가진 희소 3D 앵커 포인트를 사용한다.
• 이미지 픽셀을 통해 광선을 투사하고 교차하는 앵커로부터 점유를 최대 풀링으로 집계한다.
• 표면 경계 근처의 라벨링 모호성을 줄이기 위해 경계 인식 배치를 적용한다.
• 이미지 실루엣과 3D 표면 주변에 샘플링을 집중시키기 위해 중요도 샘플링을 사용한다.
• 표면 영역을 강조하기 위해 가중치를 둔 유한 차분 기반의 기하학적 정규화를 도입한다.

실험 결과

연구 질문

• RQ1 3D 그라운드 트uth 데이터 없이 2D 감독으로 암시적 표면을 학습할 수 있는가?
• RQ2 2D 이미지 신호를 암시적 3D 필드와 효율적으로 결합하여 정확하고 토폴로지적으로 복잡한 형태를 추론할 수 있는가?
• RQ3 2D 실루엣으로 학습된 암시적 표면에 합리적인 기하를 강제하는 가장 효과적인 정규화 전략은 무엇인가?

주요 결과

• ShapeNet의 2D 실루엣을 사용한 무감독 방법 중 최첨단 3D IoU를 달성했다.
• Voxels, 점군, 메쉬에 비해 더 높은 해상도와 토폴로지 유연한 재구성을 제공한다.
• 앵커와 레이 프로빙 방식이 정확도와 디테일을 향상시킴을 보여준다.
• 유한 차분 기반의 기하학적 정규화를 통해 표면 영역의 매끄러움과 법선을 p-노름으로 제어 가능하게 한다.
• 경계 인식 배치 및 중요도 샘플링의 이점이 품질 향상으로 이어짐을 확인하는 제거 연구(ablation studies).