[論文レビュー] PointHR: Exploring High-Resolution Architectures for 3D Point Cloud Segmentation

Haibo Qiu, Baosheng Yu+2 more|arXiv (Cornell University)|Oct 11, 2023

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

PointHRは、knnに基づくシーケンス演算子と微分可能なリサンプリング演算子を用いた統一パイプラインにより、ネットワーク全体でマルチスケール特徴を維持する高分解能アーキテクチャを提案する。特徴演算のインデックスを事前計算することで、S3DISおよびScanNetV2で最先端の性能を達成するとともに、計算コストを顕著に削減する。

ABSTRACT

Significant progress has been made recently in point cloud segmentation utilizing an encoder-decoder framework, which initially encodes point clouds into low-resolution representations and subsequently decodes high-resolution predictions. Inspired by the success of high-resolution architectures in image dense prediction, which always maintains a high-resolution representation throughout the entire learning process, we consider it also highly important for 3D dense point cloud analysis. Therefore, in this paper, we explore high-resolution architectures for 3D point cloud segmentation. Specifically, we generalize high-resolution architectures using a unified pipeline named PointHR, which includes a knn-based sequence operator for feature extraction and a differential resampling operator to efficiently communicate different resolutions. Additionally, we propose to avoid numerous on-the-fly computations of high-resolution architectures by pre-computing the indices for both sequence and resampling operators. By doing so, we deliver highly competitive high-resolution architectures while capitalizing on the benefits of well-designed point cloud blocks without additional effort. To evaluate these architectures for dense point cloud analysis, we conduct thorough experiments using S3DIS and ScanNetV2 datasets, where the proposed PointHR outperforms recent state-of-the-art methods without any bells and whistles. The source code is available at \url{https://github.com/haibo-qiu/PointHR}.

研究の動機と目的

• 標準のエンコーダ・デコーダネットワークが早期に特徴をダウンサンプリングし、段階的に高分解能予測を回復するため、空間的正確性が損なわれるという限界を是正すること。
• 2次元ビジョンで成功を収めた高分解能アーキテクチャの可能性を活用し、3次元点群解析において複数の解像度をネットワーク全体で並列に維持すること。
• knnおよびリサンプリングのインデックスを事前計算することで、実行時計算を最小限に抑えることにより、3次元での高分解能アーキテクチャの効率的利用を可能にすること。
• 既存の点群ブロック（例：MLP、アテンション）を再設計なしに統合できる、統一的でモジュラーなフレームワークを提供すること。
• 高分解能設計が、追加のコンponentsや装飾を加えずに、密度の高い3次元点群セグメンテーションにおいて優れた性能を発揮することを実証すること。

提案手法

• knnに基づくシーケンス演算子を用いた統一パイプライン「PointHR」を定式化し、MLP やアテンションメカニズムなどの既存の点群ブロックを活用可能な局所特徴抽出を可能にする。
• 高解像度と低解像度の特徴間の効率的なクロススケール特徴通信を可能にする、微分可能なリサンプリング演算子を導入する。
• knn特徴収集およびリサンプリング操作（例：ファーゼスト・ポイント・サンプリング、グリッドプーリング）のインデックスを事前計算することで、推論および学習時の実行時計算を排除する。
• 高解像度、ミドル解像度、低解像度の特徴を並列に維持するマルチステージアーキテクチャを採用し、各ステージ内で頻繁なスケール間相互作用を可能にする。
• シーケンス演算子（MLP、ベクトルアテンション、グループ化されたベクトルアテンション）とリサンプリング戦略（FPS + KNN、グリッドプーリング）を独立して交換可能なモジュラー設計を採用する。
• 標準的なトレーニングプロトコルに従い、S3DISおよびScanNetV2という標準ベンチマークに統一フレームワークを適用することで、最先端手法との公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 2次元ビジョンで有効であった高解像度アーキテクチャを、3次元点群セグメンテーションに成功裏に適応させることで、空間的正確性と意味的理解を向上させることができるか？
• RQ2 knnおよびリサンプリング操作の実行時計算が高コストであることを踏まえ、性能を損なわずに、高解像度3次元アーキテクチャの計算コストをどのように低減できるか？
• RQ3 MLP やアテンションなどの既存の点群ブロックを、アーキテクチャの再設計なしに高解像度3次元セグメンテーションフレームワーク内でどれほど再利用できるか？
• RQ4 高解像度と低解像度の特徴を並列に維持し、頻繁なクロススケール通信を実施することで、エンコーダ・デコーダネットワークの逐次的なダウンサンプリング／アップサンプリングに比べ、性能が向上するか？
• RQ5 knnおよびリサンプリング操作のインデックスを事前計算することで、高解像度3次元セグメンテーションにおける学習および推論を著しく高速化し、モデルの正確性を維持できるか？

主な発見

• PointHRは、mIoU 75.4%、mACC 82.8% を達成し、PTv2 や PMeta を含む従来のSOTA手法を上回る、ScanNetV2 データセットにおける最先端の性能を実現した。
• PointHR-Lバージョンは、ScanNetV2 テストセットで76.6%のmIoUを達成し、優れた一般化性能とロバストネスを示した。
• knnおよびリサンプリングのインデックスを事前計算することで、実行時計算と比較して学習時間を約40%短縮した。PointHRは412時間のベースラインと比較して、244 V100 GPU時間を要した。
• グループ化されたベクトルアテンション（gva）をシーケンス演算子として使用したモデルは、390万パラメータと6.8G FLOPsで74.9%のmIoUを達成し、PTv2（1130万パラメータ、14.3G FLOPs、75.4% mIoU）を上回った。
• モデルの深さと幅を増加させること（例：PointHR-TからPointHR-L）により、mIoUは一貫して向上し、PointHR-T（72.7%）からPointHR-L（75.4%）に2.4%の向上を達成した。これによりスケーラビリティが確認された。
• アブレーションスタディの結果、同じシーケンス演算子（例：mlps、va、gva）を用いた場合でも、高解像度アーキテクチャ（HR）を適用することで、元の手法よりも性能が一貫して向上した。これにより、フレームワークの有効性と一般化能力が裏付けられた。