[논문 리뷰] Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research

Krishna Murthy Jatavallabhula, Edward J. Smith외 7명|arXiv (Cornell University)|2019. 11. 12.

Image Processing and 3D Reconstruction참고 문헌 41인용 수 69

한 줄 요약

Kaolin은 차별화 가능한 3D 모듈, 데이터셋 도구, 차별화 가능한 렌더러, 사전 학습 아키텍처를 갖춘 모델 Zoo, 시각화 도구를 제공하여 3D 딥러닝 연구를 가속화하는 PyTorch 기반 라이브러리이다.

ABSTRACT

We present Kaolin, a PyTorch library aiming to accelerate 3D deep learning research. Kaolin provides efficient implementations of differentiable 3D modules for use in deep learning systems. With functionality to load and preprocess several popular 3D datasets, and native functions to manipulate meshes, pointclouds, signed distance functions, and voxel grids, Kaolin mitigates the need to write wasteful boilerplate code. Kaolin packages together several differentiable graphics modules including rendering, lighting, shading, and view warping. Kaolin also supports an array of loss functions and evaluation metrics for seamless evaluation and provides visualization functionality to render the 3D results. Importantly, we curate a comprehensive model zoo comprising many state-of-the-art 3D deep learning architectures, to serve as a starting point for future research endeavours. Kaolin is available as open-source software at https://github.com/NVIDIAGameWorks/kaolin/.

연구 동기 및 목표

• PyTorch로 엔드-투-엔드 도구키트를 제공하여 3D 딥러닝 진입 장벽을 낮춘다.
• 다양한 3D 표현(mesh, point clouds, voxels, SDFs, depth maps)을 지원하고 표현 간 교차 변환을 효율적으로 수행한다.
• 차별화 가능한 렌더링과 신속한 실험을 지원하는 사전 학습 기반 베이스라인을 갖춘 포괄적 모델 Zoo를 제공한다.
• 3D 작업에 특화된 손실 함수, 지표, 시각화 도구를 제공한다.
• 3D DL 연구 도구를 확장하기 위한 오픈 소스 커뮤니티와 로드맵을 촉진한다.

제안 방법

• 차별화 가능한 교차 표현 변환을 갖춘 PyTorch 텐서 기반 클래스로 포괄적인 3D 표현을 제공한다.
• 추상 DifferentiableRenderer 기본 클래스와 CUDA 가속 컴포넌트를 갖춘 모듈식 차별화 렌더러를 구현한다.
• USD 내보내기/가져오기를 포함하고 ShapeNet, ModelNet, ScanNet 등 인기 있는 3D 데이터셋을 지원하는 PyTorch Dataset/DataLoader를 확장하는 데이터셋 로더 프레임워크를 포함한다.
• 3D 손실 함수 및 지표 라이브러리 제공(예: 보셀의 IoU, Chamfer 거리, Earth Mover’s 거리, 점-표면 손실).
• 사전 학습된 아키텍처를 갖춘 모델 Zoo를 제공하여 방법 벤치마킹 및 개발을 가속한다(예: Pixel2Mesh, MeshCNN, PointNet/PointNet++, Occupancy Networks, DeepSDF).
• 경량 도구를 통한 모든 표현의 시각화와 고충실도 렌더링용 USD 기반 내보내기를 지원한다.

실험 결과

연구 질문

• RQ1 다양한 3D 표현에 대해 로딩, 변환, 학습을 통합된 PyTorch 기반 도구키트로 어떻게 간소화할 수 있을까?
• RQ2 차별화 렌더링을 모듈식으로 확장 가능하게 통합하여 2D 감독하에 3D 학습을 가능하게 할 수 있을까?
• RQ3 평가를 표준화하고 3D DL 연구를 가속하기 위해 어떤 베이스라인 및 사전 학습 모델을 제공해야 하는가?
• RQ4 빠른 개발과 3D 작업 간 공정한 비교를 가장 잘 지원하는 지표와 시각화 도구는 무엇인가?

주요 결과

• Kaolin은 미세한 변환이 가능한 메시에 대한 확장된 지원과 점 구름, 보셀 격자, 부호가 있는 거리 함수(Signed Distance Functions), 깊이 이미지에 대한 차별화 가능한 변환을 제공합니다.
• 모듈식 DifferentiableRenderer는 렌더링 구성 요소(기하, 조명, 음영, 투영, 래스터화)를 교체 가능하게 하며 성능 향상을 위한 CUDA 구현을 포함합니다.
• 모델 Zoo에는 분류, 분할, 재구성, 차별화 렌더링과 같은 다양한 작업에서 신속한 벤치마킹을 위해 사전 학습된 모델이 포함된 최첨단 3D 아키텍처가 포함되어 있습니다.
• Kaolin은 ShapeNet, PartNet, SHREC, ModelNet, ScanNet, HumanSeg 등의 데이터셋을 USD 내보내기/가져오기로 통합하여 데이터 핸들링을 간소화합니다.
• 이 논문은 예제와 상세한 생태계를 통해 3D DL 워크플로우의 보일러플레이트 코드를 줄이고 상당한 속도 향상과 실용적 유용성을 입증합니다.
• 시각화 및 데이터 내보내기 기능은 엔드-투-엔드 실험과 필요 시 더 높은 충실도 렌더링을 지원합니다.