[論文レビュー] Grid-GCN for Fast and Scalable Point Cloud Learning

Qiangeng Xu, Xudong Sun+3 more|arXiv (Cornell University)|Dec 6, 2019

3D Shape Modeling and Analysis参考文献 52被引用数 9

ひとこと要約

Grid-GCN は、効率的なデータ構造化のためのカバレッジアウェアグリッドクエリ（CAGQ）と、文脈に配慮したグラフ畳み込みのためのグリッドコンテキストアグリゲーション（GCA）を用いた、高速かつスケーラブルなポイントクラウド学習フレームワークを提案する。分類およびセグメンテーションのベンチマークで最先端の精度を達成し、先行手法と比較して最大50倍の高速化を実現しており、81920点のスキャンで50fpsの推論が可能である。

ABSTRACT

Due to the sparsity and irregularity of the point cloud data, methods that directly consume points have become popular. Among all point-based models, graph convolutional networks (GCN) lead to notable performance by fully preserving the data granularity and exploiting point interrelation. However, point-based networks spend a significant amount of time on data structuring (e.g., Farthest Point Sampling (FPS) and neighbor points querying), which limit the speed and scalability. In this paper, we present a method, named Grid-GCN, for fast and scalable point cloud learning. Grid-GCN uses a novel data structuring strategy, Coverage-Aware Grid Query (CAGQ). By leveraging the efficiency of grid space, CAGQ improves spatial coverage while reducing the theoretical time complexity. Compared with popular sampling methods such as Farthest Point Sampling (FPS) and Ball Query, CAGQ achieves up to 50X speed-up. With a Grid Context Aggregation (GCA) module, Grid-GCN achieves state-of-the-art performance on major point cloud classification and segmentation benchmarks with significantly faster runtime than previous studies. Remarkably, Grid-GCN achieves the inference speed of 50fps on ScanNet using 81920 points per scene as input.

研究の動機と目的

• ポイントベースのモデルにおけるデータ構造化の高コストな計算を軽減すること。これは、合計トレーニング時間の最大88％を占めることがある。
• FPS やボールクエリと比較して、ポイントクラウドのサンプリングおよび近隣点クエリにおける空間的カバレッジの向上と時間計算量の低減を図ること。
• 効率的なグリッドベースの構造化と効果的なグラフ畳み込みを組み合わせることで、リアルタイムかつ大規模なポイントクラウド処理を可能にすること。
• 大幅に低減された推論遅延を実現しつつ、ポイントクラウド分類およびセグメンテーションで最先端の性能を達成すること。

提案手法

• ボクセル化を活用してセンターのサンプリングと近隣点クエリを高速化する、新しいデータ構造戦略であるカバレッジアウェアグリッドクエリ（CAGQ）を導入する。
• CAGQ は、カバレッジアウェアなサンプリングメカニズムにより、未被覆領域を優先することで完全な空間的カバレッジを確保し、冗長性を低減するとともに、細粒度を向上させる。
• 計算コストの増加を伴わずに隣接するグリッドセルからの特徴をプールする、グラフ畳み込みモジュールであるグリッドコンテキストアグリゲーション（GCA）を採用する。
• ダウンサンプリングとアップサンプリングを交互に繰り返すマルチスケールのGridConvレイヤー構造を採用し、ポイントグループ全体における階層的特徴抽出を可能にする。
• エッジ関係の計算においてカバレッジウェイトを適用することで、未被覆領域を強調し、モデルのロバスト性と精度を向上させる。
• スパースなポイントクラウドにおけるメモリおよび計算コストを低減するため、占有されているボクセルでのみ計算を実行することで推論速度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 グリッドベースのデータ構造化手法は、空間的カバレッジを維持または向上させつつ、ポイントクラウドのサンプリングおよび近隣点クエリの時間計算量を低減できるか？
• RQ2 グリッドベースのコンテキストアグリゲーションの統合は、ポイントクラウド学習におけるグラフ畳み込みの性能と効率にどのように影響を与えるか？
• RQ3 ボリュメトリックおよびポイントベースの手法をハイブリッドで組み合わせたアプローチは、大規模なポイントクラウドにおいて、高精度とリアルタイム推論を両立できるか？
• RQ4 カバレッジアウェアなサンプリングおよびコンテキストプールリングは、ポイントクラウドセグメンテーションおよび分類におけるモデルの精度と推論速度にどのような影響を与えるか？

主な発見

• Grid-GCN は、投票なしでModelNet40ベンチマークで93.1％の最先端の全体精度を達成し、先行手法を上回る一方で、平均して5倍の高速化を実現した。
• ScanNetベンチマークでは、他のモデルと比較して10倍の高速化を達成し、81920点の入力ポイントに対して推論遅延がわずか19.8msであった。
• 81920ポイントを用いてScanNetで50fpsの推論を達成したため、大規模なポイントクラウド処理におけるリアルタイム性を実証した。
• アブレーションスタディの結果、CAGQ と GCA が速度および精度の両面で顕著な貢献をしていることが確認された。カバレッジウェイトは最小限の遅延増加で、精度を0.6％向上させた。
• スケーラビリティ分析の結果、入力ポイント数が4096から81920に増加しても、PointNet++と比較して11倍の高速化を維持した。
• GridConvレイヤーの出力チャネル数を削減することで、37％の高速化が達成され、精度の低下は最小限に抑えられた。これは、モデルの効率性を強力に示している。