[論文レビュー] APP-Net: Auxiliary-point-based Push and Pull Operations for Efficient Point Cloud Classification

Tao Lu, Chunxu Liu+3 more|arXiv (Cornell University)|May 2, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

APP-Net は、受容 field の拡大と特徴抽出を分離することで、重複する計算とメモリ使用量を排除する線形計算量の局所的アグレゲーターを提案する。補助点を用いることで、3D点群分類において、10,000サンプル/秒を超える推論速度を達成し、GPUメモリ使用量が10GB未満である。従来手法に比べて効率性に優れ、ModelNet40 において最先端の精度を維持する。

ABSTRACT

Aggregating neighbor features is essential for point cloud classification. In the existing work, each point in the cloud may inevitably be selected as the neighbors of multiple aggregation centers, as all centers will gather neighbor features from the whole point cloud independently. Thus each point has to participate in the calculation repeatedly and generates redundant duplicates in the memory, leading to intensive computation costs and memory consumption. Meanwhile, to pursue higher accuracy, previous methods often rely on a complex local aggregator to extract fine geometric representation, which further slows down the classification pipeline. To address these issues, we propose a new local aggregator of linear complexity for point cloud classification, coined as APP. Specifically, we introduce an auxiliary container as an anchor to exchange features between the source point and the aggregating center. Each source point pushes its feature to only one auxiliary container, and each center point pulls features from only one auxiliary container. This avoids the re-computation issue of each source point. To facilitate the learning of the local structure of cloud point, we use an online normal estimation module to provide the explainable geometric information to enhance our APP modeling capability. Our built network is more efficient than all the previous baselines with a clear margin while still consuming a lower memory. Experiments on both synthetic and real datasets demonstrate that APP-Net reaches comparable accuracies to other networks. It can process more than 10,000 samples per second with less than 10GB of memory on a single GPU. We will release the code in https://github.com/MCG-NJU/APP-Net.

研究の動機と目的

• 既存の点群分類ネットワークにおける、重複する近隣特徴抽出が引き起こす高コストな計算とメモリ使用量を解消すること。
• 特徴抽出と受容 field の拡大を分離することで、繰り返し発生する計算とメモリフットプリントを低減すること。
• 高精度を維持しながら、推論速度とメモリ効率を著しく向上させる軽量で効率的な局所的アグレゲーターを設計すること。
• 重複する操作を最小限に抑え、補助コンテナを介した構造的な特徴交換を活用することで、大規模点群におけるリアルタイム推論を可能にすること。

提案手法

• ソース点とアグレゲーションセンター間の特徴交換を仲介する共通の補助点コンテナを導入する。
• 各ソース点は、唯一の補助コンテナに特徴をプッシュし、各センターは唯一のコンテナからのみ特徴をプルすることで、複数センターの近隣干渉を排除する。
• 局所的特徴モデリングを強化するため、位置に依存するオンライン法線推定モジュールを採用する。
• プル操作後に特徴を更新するための学習可能なデルタ関数を適用し、表現学習を向上させるために連結（concatenation）を用いる。
• 受容 field のサイズを管理し、ネットワークの深さにわたって性能を維持するために、適応的ダウンサンプリングとレート制御（rd および ra）を採用する。
• 最終アグレゲーション段階で平均プーリングと最大プーリングを組み合わせ、文脈的特徴と判別的特徴を両方保持する。

実験結果

リサーチクエスチョン

• RQ1 点群分類において、重複する計算とメモリ使用量を低減できる線形計算量の局所的アグレゲーターを設計できるか？
• RQ2 特徴抽出と受容 field の拡大を分離することで、精度を損なわず効率性が向上するか？
• RQ3 補助点が不規則な点群における構造的特徴交換のための効果的で軽量なメカニズムとして機能できるか？
• RQ4 法線推定による幾何的事前知識の統合が、効率的な局所的アグレゲーターの性能にどのように影響するか？
• RQ5 競争力ある分類精度を維持しながら、どの程度推論速度とメモリ消費量を低減できるか？

主な発見

• APP-Net は、1枚のGPUで1秒間に10,000点群サンプル以上を処理でき、従来手法に比べて顕著に優れた推論速度を達成した。
• モデルは10GB未満のGPUメモリを使用し、既存のベースラインと比較して優れたメモリ効率を示した。
• ModelNet40 データセットにおいて、APP-Net は全体精度（OA）84.3% を達成し、より単純なアーキテクチャでありながら最先端の性能を維持した。
• アブレーションスタディの結果、プルステップ後にデルタ関数と連結することで最良の性能が得られ、残差接続や恒等写像よりも優れた性能を示した。
• rd = [8,8,8] および ra = [64,64,64] の3層ネットワークが最高の精度を達成し、最適な深さと受容 field の設定が確認された。
• 平均プーリングと最大プーリングを組み合わせたアプローチが最良の性能（OA 84.3%）を示し、個別のプーリング戦略や位置に適応するプーリングを上回った。