[論文レビュー] Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection

Benjin Zhu, Zhengkai Jiang+3 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Neural Network Applications参考文献 31被引用数 320

ひとこと要約

この論文は nuScenes における長尾クラス分布に対処するため、クラスバランスのサンプリングとグルーピングを導入し、マルチグループヘッドを用いて最先端の lidar-based 3D object detection の成果を達成する。DS Sampling、GT-AUG、そして尾部クラスの性能を向上させるバランスの取れたマルチグループヘッドを組み合わせている。

ABSTRACT

This report presents our method which wins the nuScenes3D Detection Challenge [17] held in Workshop on Autonomous Driving(WAD, CVPR 2019). Generally, we utilize sparse 3D convolution to extract rich semantic features, which are then fed into a class-balanced multi-head network to perform 3D object detection. To handle the severe class imbalance problem inherent in the autonomous driving scenarios, we design a class-balanced sampling and augmentation strategy to generate a more balanced data distribution. Furthermore, we propose a balanced group-ing head to boost the performance for the categories withsimilar shapes. Based on the Challenge results, our methodoutperforms the PointPillars [14] baseline by a large mar-gin across all metrics, achieving state-of-the-art detection performance on the nuScenes dataset. Code will be released at CBGS.

研究の動機と目的

• nuScenes 3D object detection における深刻なクラス不均衡に対処する。
• 尾部クラスの性能を改善しつつ全体の精度を維持する。
• 多分布形状のカテゴリ間で情報を共有するためのマルチグループヘッド設計を活用する。
• 共同マルチクラス検出を向上させるデータ拡張と訓練手順を強化する。

提案手法

• ボクセル化された点群から特徴を抽出するためにスパース3D畳み込みを用いる。
• rare クラスのサンプルを複製することで訓練分布をバランスさせるDS Samplingを導入する。
• GT-AUGを適用して注釈データベースからサンプルされた ground-truth boxes を貼り付けることでデータを増強する。
• 類似形状のクラスが共有する専用ヘッドを設け、クラス間干渉を低減するマルチグループヘッドを設計する。
• 形状/サイズの類似性とインスタンスのバランスに基づいて6つのグループにクラスを分類し、マルチグループヘッドの学習を誘導する。
• 分類には重み付き focal loss、回帰には smooth-L1、角度の曖昧さを減らすためのオフセットを持つ姿勢分類を含む損失成分を組み込む。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡は nuScenes の 3D object detection の性能、特に尾部クラスにどのような影響を与えるのか。
• RQ2 クラスバランスのあるサンプリング戦略は尾部クラスの精度を改善しつつヘッドクラスの性能を犠牲にしないか。
• RQ3 類似形状カテゴリをグループ化し、グループ固有のヘッドを使用することは点群でのマルチクラス検出を改善するか。
• RQ4 データ拡張、損失設計、ネットワークアーキテクチャの組み合わせが nuScenes の lidar-based 3D 検出で最先端を生むか。

主な発見

• DS Sampling により訓練データセットが 28,130 から 128,100 サンプルへ拡張され、クラス分布が平滑化される。
• 提案された6グループ配置（Car）、(Truck, Construction Vehicle)、(Bus, Trailer)、(Barrier)、(Motorcycle, Bicycle)、(Pedestrian, Traffic Cone) は尾部クラスの性能を改善する。
• 本手法は nuScenes lidar トラックでの mAP および NDS 指標で最先端の結果を達成し、PointPillars 以上の mAP の改善と競争力のある NDS を報告している。
• GT-AUG と Res-Encoder はアブレーション研究で mAP に著しく寄与する。
• 最終提出では検証分割での mAP が 53.2%、NDS が 63.78% と報告され、ベースラインを上回っている。