[論文レビュー] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution

Haotian Tang, Zhijian Liu+5 more|arXiv (Cornell University)|Jul 31, 2020

Advanced Neural Network Applications参考文献 76被引用数 36

ひとこと要約

Sparse Point-Voxel Convolution (SPVConv) を導入して大規模な3Dシーンの細部を保存し、3D-NAS で自動的に効率的な3Dアーキテクチャを探索する; SemanticKITTIとKITTIで計算量と待機遅延を抑えつつ最先端の精度を達成。

ABSTRACT

Self-driving cars need to understand 3D scenes efficiently and accurately in order to drive safely. Given the limited hardware resources, existing 3D perception models are not able to recognize small instances (e.g., pedestrians, cyclists) very well due to the low-resolution voxelization and aggressive downsampling. To this end, we propose Sparse Point-Voxel Convolution (SPVConv), a lightweight 3D module that equips the vanilla Sparse Convolution with the high-resolution point-based branch. With negligible overhead, this point-based branch is able to preserve the fine details even from large outdoor scenes. To explore the spectrum of efficient 3D models, we first define a flexible architecture design space based on SPVConv, and we then present 3D Neural Architecture Search (3D-NAS) to search the optimal network architecture over this diverse design space efficiently and effectively. Experimental results validate that the resulting SPVNAS model is fast and accurate: it outperforms the state-of-the-art MinkowskiNet by 3.3%, ranking 1st on the competitive SemanticKITTI leaderboard. It also achieves 8x computation reduction and 3x measured speedup over MinkowskiNet with higher accuracy. Finally, we transfer our method to 3D object detection, and it achieves consistent improvements over the one-stage detection baseline on KITTI.

研究の動機と目的

• 自動運転における厳しいハードウェア制約下での高精度な3D知覚の必要性を動機づける。
• 計算コストが過度にならないように細部を保持する SPVConv を提案する。
• リソース制約の下で 3D-NAS を用いて3Dアーキテクチャ設計を自動化する。
• 大規模な屋外シーンおよび3D物体検出タスクでの改善を示す。

提案手法

• 高解像度の点ベース分岐とスパースボクセル分岐を組み合わせた Sparse Point-Voxel Convolution (SPVConv) を提案する。
• ハッシュテーブルを用いたGPU加速のスパースボクセル化/デボクセル化パイプラインを使用して、O(m+n) 協調インデックスを実現する。
• クロスブランチ補間後の加算により、点ベースMLP特徴とスパースボクセル特徴を融合する。
• SPVCNN をバックボーンとして構築し、微細なチャネル選択と弾力的な深さを含む密なデザイン空間内で効率的なアーキテクチャを探索するために3D-NASを適用する。
• 重み共有と漸進的な深さ縮小を用いた単一のスーパーネットワークを訓練し、多くの候補アーキテクチャを効率的に探索する。
• データセット統計を用いてスパース層のMACsを推定するMACsベースのリソース制約の下でモデルを選択するための進化的アーキテクチャ探索を実行する。

実験結果

リサーチクエスチョン

• RQ1 限られた計算資源の下で、SPVConvは大規模な3Dシーンにおける小さな物体の認識をどのように改善できるか？
• RQ2 自動化されたアーキテクチャ探索（3D-NAS）は、固定リソース予算の下で手動設計のベースラインを上回る効率的な3Dモデルを発見できるか？
• RQ3 3D意味セグメンテーションと物体検出タスクにおけるモデルサイズ、計算量、レイテンシ、精度のトレードオフは何か？
• RQ4 高解像度の点ブランチとスパースボクセルブランチの組み合わせは、KITTIでのセグメンテーションから3D検出へ一般化できるか？

主な発見

• SPVNASはSemanticKITTIでMinkowskiNetより3.3%のmIoU向上、モデルサイズと計算量を削減。
• SPVNASはMinkowskiNetに比べ計算量を8倍削減し、計測速度を3倍向上させつつより高い精度を維持。
• SPVNASはKITTIで検出性能を向上させ、特に自転車利用者に対して強力なワンステージ基準と比較して改善。
• SPVConvモジュールは小さな物体に大きな利得を提供し、SemanticKITTIでクラス別の改善として示される。
• 3D-NASはチャネル分布と深さのバランスを取り、精度を犠牲にすることなく大幅なレイテンシー削減を実現する高効率なアーキテクチャを見つけ出す。