[論文レビュー] SSN: Shape Signature Networks for Multi-class Object Detection from Point Clouds

Xinge Zhu, Yuexin Ma+4 more|arXiv (Cornell University)|Apr 6, 2020

3D Shape Modeling and Analysis参考文献 32被引用数 10

ひとこと要約

本稿では、対称性補完、凸包投影、チェビシェフ適合を用いてポイントクラウドからコンactで頑健な形状シグネチャを学習することで、マルチクラス分類の性能を向上させる新規な3次元物体検出フレームワーク、Shape Signature Networks (SSN) を提案する。本手法はnuScenesおよびLyftデータセットにおいて最先端の性能を達成し、先行手法に比べてmAP-3Dが5%向上、NDSが10%向上する。バックボーンにわたるスケーラビリティも優れている。

ABSTRACT

Multi-class 3D object detection aims to localize and classify objects of multiple categories from point clouds. Due to the nature of point clouds, i.e. unstructured, sparse and noisy, some features benefit-ting multi-class discrimination are underexploited, such as shape information. In this paper, we propose a novel 3D shape signature to explore the shape information from point clouds. By incorporating operations of symmetry, convex hull and chebyshev fitting, the proposed shape sig-nature is not only compact and effective but also robust to the noise, which serves as a soft constraint to improve the feature capability of multi-class discrimination. Based on the proposed shape signature, we develop the shape signature networks (SSN) for 3D object detection, which consist of pyramid feature encoding part, shape-aware grouping heads and explicit shape encoding objective. Experiments show that the proposed method performs remarkably better than existing methods on two large-scale datasets. Furthermore, our shape signature can act as a plug-and-play component and ablation study shows its effectiveness and good scalability

研究の動機と目的

• 点群にテクスチャが欠如しているため、外観ベースの手法が失敗する、疎でノイジーなポイントクラウドにおけるマルチクラス3次元物体検出の課題に対処すること。
• 3次元物体検出におけるカテゴリ分類性能の向上を目的として、未利用に近い形状情報を活用すること。
• 異なるオブジェクトカテゴリ間の構造的差を捉える、コンパクトで頑健かつスケーラブルな形状シグネチャを設計すること。
• 形状に配慮したグループ化と補助的監視を組み合わせることで、特徴学習を強化する検出フレームワークに形状シグネチャを統合すること。
• 本手法の有効性と汎用性を、多様なバックボーンおよびデータセットにおいて検証すること。

提案手法

• 形状シグネチャの構築は、まずLiDARスキャンからの不完全なポイントクラウドに対して対称性操作を適用し、補完することから始める。
• ポイント群を3つの直交するビュー（ビューアイ、フロント、サイド）に投影することで、マルチビュー形状構造を捉える。
• 各ビューの凸包を計算し、スパarsityに強く、外形状を強化する。
• 角度-半径戦略を用いて凸包境界を符号化し、各角度方向を中心からの径方向距離に対応付ける。
• 角度-半径関数にチェビシェフ多項式近似を適用し、次元削減を図るとともに、重要な形状特徴を保持する。
• 得られた係数が、微分可能でコンパクトな形状シグネチャを形成し、学習におけるソフト制約として用いられる。

実験結果

リサーチクエスチョン

• RQ1 幾何的演算から得られる形状シグネチャは、ポイントクラウドにおけるマルチクラス3次元物体検出を改善できるか？
• RQ2 本手法で提案する形状シグネチャは、暗黙的表現や外観ベース表現と比較して、頑健性および分類能において優れているか？
• RQ3 形状に配慮したグループ化ヘッドと形状シグネチャの目的関数を統合することで、オブジェクトカテゴリにわたる一般化性能が向上するか？
• RQ4 形状シグネチャは、異なるバックボーンネットワークおよびデータセットにどの程度スケーラブルか？
• RQ5 形状シグネチャは、アーキテクチャの変更なしにプラグアンドプレイとして利用可能か？

主な発見

• nuScenesデータセットでは、SSNはPointPillarに比べてNDSが10%向上（44.9から49.8に）、mAP-3Dが5%向上（29.4から36.6に）した。
• Lyftデータセットでは、SSNはmAP-3Dが16.2%を達成し、PointPillarに比べ2.8%の絶対的向上を示し、NDSにおいても10%の向上を示した。
• 形状に配慮したグループ化ヘッドは、1対1ヘッドに比べてNDSで11.9%、mAP-3Dで7.1%向上し、形状ベースの特徴共有の利点を示した。
• 提案された形状シグネチャは、PointPillarおよびSecondといった異なるバックボーン、およびnuScenes、Lyft、Kittiといった異なるデータセットにおいて一貫して性能向上を示し、強力なスケーラビリティを示した。
• TSNE可視化により、形状シグネチャベクトルがカテゴリごとにクラスタリングされていることが確認され、分類能向上に寄与するソフト制約としての有効性が裏付けられた。
• アブレーション実験では、上位3つのチェビシェフ係数が十分な形状情報を捉えており、高次項は寄与が最小限であることが示された。