[論文レビュー] Point-Voxel CNN for Efficient 3D Deep Learning

Zhijian Liu, Haotian Tang+2 more|arXiv (Cornell University)|Jul 8, 2019

3D Shape Modeling and Analysis参考文献 49被引用数 335

ひとこと要約

PVCNN は低解像度のボクセルベース分岐と高解像度のポイントベース分岐を組み合わせて、精度を維持しつつ高速でメモリ効率の良い3D深層学習を実現します。

ABSTRACT

We present Point-Voxel CNN (PVCNN) for efficient, fast 3D deep learning. Previous work processes 3D data using either voxel-based or point-based NN models. However, both approaches are computationally inefficient. The computation cost and memory footprints of the voxel-based models grow cubically with the input resolution, making it memory-prohibitive to scale up the resolution. As for point-based networks, up to 80% of the time is wasted on structuring the sparse data which have rather poor memory locality, not on the actual feature extraction. In this paper, we propose PVCNN that represents the 3D input data in points to reduce the memory consumption, while performing the convolutions in voxels to reduce the irregular, sparse data access and improve the locality. Our PVCNN model is both memory and computation efficient. Evaluated on semantic and part segmentation datasets, it achieves much higher accuracy than the voxel-based baseline with 10x GPU memory reduction; it also outperforms the state-of-the-art point-based models with 7x measured speedup on average. Remarkably, the narrower version of PVCNN achieves 2x speedup over PointNet (an extremely efficient model) on part and scene segmentation benchmarks with much higher accuracy. We validate the general effectiveness of PVCNN on 3D object detection: by replacing the primitives in Frustrum PointNet with PVConv, it outperforms Frustrum PointNet++ by 2.4% mAP on average with 1.5x measured speedup and GPU memory reduction.

研究の動機と目的

• エッジデバイス上でのメモリと遅延の制約による効率的な3D深層学習の必要性を動機づける。
• ボクセルベースとポイントベース処理を融合させ、メモリフットプリントを削減しデータ局在性を改善するハイブリッド PVConv プリミティブを提案する。
• PVCNN が純粋なボクセル型またはポイント型モデルと比較して、複数の3Dタスクでより高い精度を低いメモリ使用量と低遅延で達成することを実証する。

提案手法

• ボクセルベースの分岐と高解像度のポイントベース分岐の2つのブランチを備えた PVConv を導入する。
• ボクセルベースの分岐は正規化された点を低解像度のグリッドにボクセル化し、3D畳み込みを適用し、トリリニア補間を用いてデボクセル化して点特徴と融合する。
• ポイントベースの分岐は元の点をMLPで処理し、高解像度・点ごとの情報を保持する。
• 両分岐の特徴を単純な加算で融合し、最終的な点特徴を得る。
• 座標を正規化し、微分可能なボクセル化/デボクセル化を実行してエンドツーエンド訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 3Dデータは、セマンティックセグメンテーションや検出といった一般的な3Dタスクで、精度を犠牲にすることなくどのように効率的に処理できるか？
• RQ2 ハイブリッドなボクセル-ポイント手法は、純粋なボクセル法や純粋なポイント法と比較してメモリフットプリントを低減しデータ局在性を改善できるか？
• RQ3 ShapeNet Part、S3DIS、KITTI のベンチマークにおける PVCNN の性能（精度、レイテンシ、メモリ）はどうなるか？

主な発見

Input Data	Convolution	Mean IoU / mAcc / mIoU (depending on table)	Latency	GPU Memory
Points (8 × 2048)	volumetric	86.2 IoU	50.7 ms	1.59 GB
Points (8 × 2048)	volumetric	85.7 IoU	36.8 ms	1.56 GB
Points (8 × 2048)	volumetric	85.5 IoU	28.9 ms	1.55 GB
Points (8 × 2048)	volumetric	85.2 IoU	11.6 ms	0.80 GB
Points (8 × 2048)	volumetric	85.5 IoU	21.7 ms	1.00 GB

• PVCNN はボクセルベースのベースラインより高い精度を達成し、GPUメモリを大幅に削減（ShapeNet Part で約10倍のメモリ削減）。
• PVCNN は検証されたタスク全体で、最先端のポイントベースモデルと比較して平均約7倍のスピードアップを実現。
• 狭い PVCNN バリアントは、PointNet、SpiderCNN などの強力なベースラインより2x〜15xの速度アップを達成しつつ競合する、またはそれ以上の精度。
• ShapeNet Part では、1xC バリアントが 86.2 IoU、50.7 ms、1.59 GB のメモリで良好な精度-レイテンシ-メモリのトレードオフを示す。
• S3DIS の室内シーンセグメンテーションでは、PVCNN と PVCNN++ が純粋なポイントベースモデルを上回り、最大8xのスピードアップと3xのメモリ削減を達成；PVCNN++ は PointCNN を下回る遅延で上回る。
• 3D物体検出（KITTI）では、PVCNN バリアントが F-PointNet++ を1.5xの高速化とメモリ削減で上回り、完全な PVCNN は顕著な mAP の改善を達成。