[논문 리뷰] Accelerating 3D Deep Learning with PyTorch3D

Nikhila Ravi, Jeremy Reizenstein외 5명|arXiv (Cornell University)|2020. 07. 16.

3D Shape Modeling and Analysis참고 문헌 60인용 수 121

한 줄 요약

Pytorch3D는 모듈식의 미분 가능 3D 연산자와 빠른 미분 가능 렌더러를 제공하여 3D 딥러닝을 가속화하고, 메시(mesh)와 포인트 클라우드에 대한 비지도 학습 3D 형태 예측과 확장 가능한 배치를 가능하게 한다. 이 라이브러리는 최대 10배의 속도 향상을 달성하고 3D 감독 없이 ShapeNet에서 최첨단 성능을 가능하게 한다.

ABSTRACT

Deep learning has significantly improved 2D image recognition. Extending into 3D may advance many new applications including autonomous vehicles, virtual and augmented reality, authoring 3D content, and even improving 2D recognition. However despite growing interest, 3D deep learning remains relatively underexplored. We believe that some of this disparity is due to the engineering challenges involved in 3D deep learning, such as efficiently processing heterogeneous data and reframing graphics operations to be differentiable. We address these challenges by introducing PyTorch3D, a library of modular, efficient, and differentiable operators for 3D deep learning. It includes a fast, modular differentiable renderer for meshes and point clouds, enabling analysis-by-synthesis approaches. Compared with other differentiable renderers, PyTorch3D is more modular and efficient, allowing users to more easily extend it while also gracefully scaling to large meshes and images. We compare the PyTorch3D operators and renderer with other implementations and demonstrate significant speed and memory improvements. We also use PyTorch3D to improve the state-of-the-art for unsupervised 3D mesh and point cloud prediction from 2D images on ShapeNet. PyTorch3D is open-source and we hope it will help accelerate research in 3D deep learning.

연구 동기 및 목표

• 이질적인 데이터 형식(메시, 포인트 클라우드, 보셀) 및 미분 가능성 요구사항으로 인해 3D 딥러닝에서의 엔지니어링 도전과제 해결.
• PyTorch를 기반으로 한 모듈식이고 효율적이며 차분 가능한 3D 연산자 라이브러리 제공.
• 분석-합성 및 역합성을 가능하게 하는 메시와 포인트 클라우드를 위한 빠르고 모듈식 차분 가능한 렌더러 도입.
• 기존 구현 대비 속도 향상과 메모리 효율성을 입증하고 2D 이미지로부터의 비지도 3D 형태 예측에서 최첨단 성능을 향상.

제안 방법

• 크기가 다른 및 위상 구조가 다른 3D 데이터 배치를 지원하는 PyTorch3D 데이터 구조를 도입한다.
• 두 단계 래스터화와 픽셀당 K-최근접 면의 영향을 활용하는 메시와 포인트 클라우드를 위한 모듈식 차분 렌더링 엔진 개발.
• 렌더링 중간 결과를 노출하여 사용자가 PyTorch autograd를 통해 커스텀 셰이더 및 구성요소를 연결할 수 있도록 함.
• 핵심 3D 연산자(Chamfer 손실, 그래프 컨볼루션, KNN)에 대한 맞춤 CUDA 커널 구현으로 속도와 메모리 사용량 개선.
• 순수 PyTorch 및 다른 라이브러리와의 벤치마크를 통해 속도/메모리 향상을 최대 10x까지 보여줌.
• 2D 감독을 가진 차분 렌더러를 사용하여 ShapeNet에서 비지도 3D 형태 예측을 시연.

실험 결과

연구 질문

• RQ1 모듈식이고 차분 가능한 3D 렌더링 엔진이 성능 저하 없이 큰 메시와 이질적 배치로 확장될 수 있는가?
• RQ2 3D 연산자에 대한 맞춤 CUDA 구현이 기존 접근법에 비해 실질적인 속도/메모리 이점을 제공하는가?
• RQ3 PyTorch3D를 이용한 차분 렌더링이 ShapeNet에서 2D 이미지로부터의 비지도 3D 메시 및 포인트 클라우드 예측을 개선할 수 있는가?

주요 결과

• PyTorch3D는 naïve PyTorch 및 다른 라이브러리에 비해 상당한 속도 및 메모리 개선을 달성하여 최대 10x 개선을 보여준다.
• 픽셀당 K 최근면(K nearest faces)을 사용하고 래스터라이제이션과 셰이딩을 분리한 모듈식 렌더러가 효율성을 높이고 성능을 유지한다.
• ShapeNet 실험에서 PyTorch3D 렌더러를 사용할 때 2D 이미지로부터의 비지도 3D 메시 및 포인트 클라우드 예측에서 최첨단 성능이 향상되었다.
• 포인트 클라우드 및 메시 렌더러는 이질적인 배치를 지원하고 여러 설정에서 SoftRas보다 경쟁력 있거나 우수한 결과를 여전히 달성한다.
• 이 방법은 비지도 3D 학습에서 더 큰 해상도와 더 복잡한 메시를 사용할 수 있게 하여 계산 비용이 크게 부담되지 않도록 한다.