[論文レビュー] Accelerating 3D Deep Learning with PyTorch3D

Nikhila Ravi, Jeremy Reizenstein+5 more|arXiv (Cornell University)|Jul 16, 2020

3D Shape Modeling and Analysis参考文献 60被引用数 121

ひとこと要約

Pytorch3D はモジュラーで微分可能な 3D 演算子と高速な微分可能レンダラを提供し、3D 深層学習を加速して教師なしの 3D 形状予測とメッシュ・点群のスケーラブルなバッチ処理を可能にします。ライブラリは最大で 10x のスピードアップを達成し、3D 超監視なしで ShapeNet における最先端の結果を可能にします。

ABSTRACT

Deep learning has significantly improved 2D image recognition. Extending into 3D may advance many new applications including autonomous vehicles, virtual and augmented reality, authoring 3D content, and even improving 2D recognition. However despite growing interest, 3D deep learning remains relatively underexplored. We believe that some of this disparity is due to the engineering challenges involved in 3D deep learning, such as efficiently processing heterogeneous data and reframing graphics operations to be differentiable. We address these challenges by introducing PyTorch3D, a library of modular, efficient, and differentiable operators for 3D deep learning. It includes a fast, modular differentiable renderer for meshes and point clouds, enabling analysis-by-synthesis approaches. Compared with other differentiable renderers, PyTorch3D is more modular and efficient, allowing users to more easily extend it while also gracefully scaling to large meshes and images. We compare the PyTorch3D operators and renderer with other implementations and demonstrate significant speed and memory improvements. We also use PyTorch3D to improve the state-of-the-art for unsupervised 3D mesh and point cloud prediction from 2D images on ShapeNet. PyTorch3D is open-source and we hope it will help accelerate research in 3D deep learning.

研究の動機と目的

• 異種データフォーマット（メッシュ、点群、ボクセル）と微分可能性の要件によって生じる 3D 深層学習の技術的課題に対処する。
• PyTorch を基盤とした、モジュール式で効率的な微分可能な 3D 演算子ライブラリを提供する。
• 分析による合成と逆レンダリングを可能にする、メッシュと点群向けの高速でモジュール式の微分可能レンダラを導入する。
• 既存の実装に対する速度向上とメモリ効率を実証し、2D 画像からの教師なし 3D 形状予測の最先端を改善する。

提案手法

• サイズやトポロジが異なる 3D データのバッチをサポートする PyTorch3D データ構造を導入する。
• 二段階ラスタリゼーションとピクセルごとの K 最近傍面の影響を用いた、メッシュと点群向けのモジュール式かつ微分可能なレンダリングエンジンを開発する。
• レンダリング中間体を公開し、ユーザーが PyTorch autograd を介してカスタムシェーダーやコンポーネントを組み込めるようにする。
• 主要な 3D 演算子（Chamfer loss、graph convolution、KNN）向けのカスタム CUDA カーネルを実装して、速度とメモリ使用量を改善する。
• 純粋な PyTorch および他のライブラリと比較して、速度・メモリの改善を最大 10x 示すベンチマークを行う。
• 2D 監視を伴う微分可能レンダラを用いた ShapeNet における教師なし 3D 形状予測を実証する。

実験結果

リサーチクエスチョン

• RQ1 モジュール式で微分可能な 3D レンダリングエンジンは、性能を犠牲にすることなく大規模なメッシュと異種バッチに拡張できるか。
• RQ2 3D 演算子のカスタム CUDA 実装は、既存のアプローチに比べて実質的な速度・メモリの利点を提供するか。
• RQ3 PyTorch3D を用いた微分可能レンダリングは、ShapeNet において 2D 画像からの教師なし 3D メッシュおよび点群予測を改善できるか。

主な発見

• PyTorch3D は、素の PyTorch や他のライブラリと比較して大幅な速度とメモリの改善を達成し、最大で 10x の改善を示した。
• ピクセルあたりの K 最近傍面を用いた、分離可能なラスタリゼーションとシェーディングを備えたモジュール式レンダラは、効率を改善しつつ性能を維持する。
• ShapeNet の実験は、PyTorch3D レンダラを使用した場合、2D 画像からの教師なし 3D メッシュおよび点群予測で最先端の改善を示す。
• The point-cloud and mesh renderers support heterogeneous batches and still achieve competitive or superior results to SoftRas in several settings.
• The approach enables larger image resolutions and more complex meshes to be used in unsupervised 3D learning without prohibitive compute.