[論文レビュー] DRINet: A Dual-Representation Iterative Learning Network for Point Cloud Segmentation

Maosheng Ye, Shuangjie Xu+2 more|arXiv (Cornell University)|Aug 9, 2021

3D Shape Modeling and Analysis参考文献 42被引用数 6

ひとこと要約

DRINetは、点群とボクセル表現の間で交互に特徴を精錬する二重表現反復学習ネットワークを提案する。新規のスパースポイントボクセル特徴抽出モジュールとスパースボクセルポイント特徴抽出モジュールを用い、複数のベンチマークで最先端の性能を達成する。リアルタイム推論（1フレームあたり62ms）を実現するため、マルチスケールプーリング層とアテンション機構を導入し、文脈情報の学習を強化するとともに計算コストを低減する。

ABSTRACT

We present a novel and flexible architecture for point cloud segmentation with dual-representation iterative learning. In point cloud processing, different representations have their own pros and cons. Thus, finding suitable ways to represent point cloud data structure while keeping its own internal physical property such as permutation and scale-invariant is a fundamental problem. Therefore, we propose our work, DRINet, which serves as the basic network structure for dual-representation learning with great flexibility at feature transferring and less computation cost, especially for large-scale point clouds. DRINet mainly consists of two modules called Sparse Point-Voxel Feature Extraction and Sparse Voxel-Point Feature Extraction. By utilizing these two modules iteratively, features can be propagated between two different representations. We further propose a novel multi-scale pooling layer for pointwise locality learning to improve context information propagation. Our network achieves state-of-the-art results for point cloud classification and segmentation tasks on several datasets while maintaining high runtime efficiency. For large-scale outdoor scenarios, our method outperforms state-of-the-art methods with a real-time inference speed of 62ms per frame.

研究の動機と目的

• 大規模な屋外シーンにおける点群セグメンテーションの効率性と性能のバランスを改善すること。
• 従来の二重表現ネットワークが単純な特徴統合と双線形集約を用いることで性能が低下し、計算コストが増加するという制限を克服すること。
• 点表現とボクセル表現の間で柔軟かつ反復的な特徴伝搬を可能にしつつ、順序およびスケール不変性を保持すること。
• ボクセルレベルでのマルチスケール特徴集約により、文脈情報の学習を向上させること。
• ボクセルから点表現への特徴変換における計算オーバーヘッドを、アテンション機構を用いて低減すること。

提案手法

• スパースポイントボクセル特徴抽出（SPVFE）とスパースボクセルポイント特徴抽出（SVPFE）の2つのコアモジュールを導入し、点表現とボクセル表現の間で反復的な特徴精錬を可能にする。
• ボクセルレベルに新規のマルチスケールプーリング層を導入し、複数の受容 field を通じて特徴を集約することで、局所的文脈の学習を強化する。
• 双線形／三線形集約を、事前に計算されたアテンション重みを用いるアテンション機構に置き換え、特徴の劣化と計算コストを低減する。
• 点特徴の細粒度の詳細さとボクセル特徴の構造的で大きな受容 field の利点を組み合わせる二重表現戦略を採用する。
• SPVFE と SVPFE ブロック間で反復的な特徴伝搬を適用し、表現間での相互的な特徴強化を実現する。
• ModelNet40 および ShapeNet データセットでの学習に、標準的なデータオーグメンテーション（回転、スケーリング、反転、摂動）と正規化を適用する。

実験結果

リサーチクエスチョン

• RQ1 点表現とボクセル表現の間で反復的な特徴学習を実施することで、リアルタイム推論を維持しつつセグメンテーション精度を向上させることができるか？
• RQ2 ボクセルレベルでのマルチスケールプーリングは、点群セグメンテーションにおける文脈情報の伝搬にどのように影響するか？
• RQ3 アテンション機構は、従来の双線形／三線形補間よりも、ボクセルから点への特徴変換において優れていると期待できるか？
• RQ4 反復的精錬を伴う二重表現学習は、単一表現または単純な統合手法に比べてどの程度優れているか？
• RQ5 DRINet は、SemanticKITTI などの大規模な屋外データセットにおいて、最先端の手法と比較して正確性と速度の両面で優れているか？

主な発見

• DRINet は SemanticKITTI データセットで 67.3% の平均交差率（mIoU）を達成し、1フレームあたり 62ms の推論時間で、先行する最先端手法を上回る。
• マルチスケールプーリング層の導入により、SemanticKITTI における mIoU が 1.9 パcent point（65.4% から 67.3%）向上し、文脈学習の有効性が裏付けられた。
• アテンション機構により、最近傍探索による手法よりも 0.8% の性能向上が達成され、双線形補間よりも特徴劣化が顕著に低減された。
• ModelNet40 では 93.0% の精度を達成し、従来の最先端の単一表現手法を上回り、二重表現手法の PVCNN よりも優れた性能を示した。
• ShapeNet Parts では 30ms の遅延で 86.4% の mIoU を達成し、KPConv や PVCNN を上回りながらも、計算量を低減した。
• S3DIS Area 5 では 66.7% の mIoU を達成し、最高性能を示す単一表現手法（CloserLook3D）と同等の性能を発揮し、計算コストを低く抑えつつ二重表現手法の PVCNN を上回った。