[論文レビュー] Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud

Weijing Shi, Ragunathan+1 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Neural Network Applications参考文献 22被引用数 102

ひとこと要約

Point-GNN は、自動登録機構とボックス結合/スコアリングのステップを備えた固定半径近傍グラフとしてデータをモデル化することにより、LiDAR 点群から直接 3D オブジェクトを検出するグラフニュートラルネットワークを提示し、点群のみを使用して最先端の KITTI 結果を達成します。

ABSTRACT

In this paper, we propose a graph neural network to detect objects from a LiDAR point cloud. Towards this end, we encode the point cloud efficiently in a fixed radius near-neighbors graph. We design a graph neural network, named Point-GNN, to predict the category and shape of the object that each vertex in the graph belongs to. In Point-GNN, we propose an auto-registration mechanism to reduce translation variance, and also design a box merging and scoring operation to combine detections from multiple vertices accurately. Our experiments on the KITTI benchmark show the proposed approach achieves leading accuracy using the point cloud alone and can even surpass fusion-based algorithms. Our results demonstrate the potential of using the graph neural network as a new approach for 3D object detection. The code is available https://github.com/WeijingShi/Point-GNN.

研究の動機と目的

• グリッド/ボクセル変換なしに、Raw LiDAR 点群から直接 3D オブジェクトを検出できるグラフニュートラルネットワークを実現する動機付けと実証。
• 固定半径近傍接続を介して点群の密な局所幾何を初期頂点状態に埋め込む。
• 頂点状態を更新するための反復的な多層 GNN を用い、頂点状態から予測されるオフセット Delta x^t の自動登録を含め、近傍特徴を Max 演算で集約する。
• 分類ブランチ（MLP_cls）と位置推定ブランチ（MLP_loc）を共有して、各頂点のオブジェクトクラスと7-DOF バウンディングボックスを予測する。
• 頂点位置に対して境界ボックスをエンコードし、局所化にはHuber損失を用いる。分類・局所化・正則化を組み合わせた総合損失 l_total = alpha l_cls + beta l_loc + gamma l_reg で学習する。
• 重複検出を用いたボックスのマージとスコアリング手順（NMS の変種）を導入し、重なる検出の中央値ボックスとオクルージョン対応のスコアリング項を用いて最終検出を生成する。

提案手法

• 点群から頂点を点とし、半径 r 内の近傍と辺を接続してグラフを構築する。
• 近傍点からの特徴を用いて PointNet 類の集合関数（最大プーリング）により初期頂点状態へ密な局所幾何を埋め込む。
• 各反復で頂点状態を更新するための per-iteration MLP を用いた多反復 GNN を用い、頂点状態から予測されるオフセット Delta x^t を含め、Max 演算で近傍特徴を集約する。
• 分類ブランチ（MLP_cls）と局所化ブランチ（MLP_loc）を共有して、各頂点のオブジェクトクラスと 7-DOF バウンディングボックスを予測する。
• 境界ボックスを頂点位置に対してエンコードし、局所化には Huber 損失を用いる；分類・局所化・正則化を組み合わせた総合損失 l_total = alpha l_cls + beta l_loc + gamma l_reg で学習する。
• ボックスの結合とスコアリング手順（NMS 変種）を導入し、重なる検出の中央値ボックスとオクルージョン対応のスコアリング項を用いて最終検出を生成する。

実験結果

リサーチクエスチョン

• RQ1 ボクセル化やグリッド投影を用いず、点群上で直接動作するグラフニュートラルネットワークは、競争力のある 3D オブジェクト検出結果を達成できるのか。
• RQ2 自動登録機構は、点群の GNN における翻訳変動を低減し、頂点とオブジェクトの関連付けを改善するのか。
• RQ3 ボックス結合とスコアリング戦略は、複数頂点検出を1つのオブジェクト境界ボックスへ統合するのに有効か。
• RQ4 LiDAR データのみを用いた Point-GNN の KITTI ベンチマークでの性能は、フュージョンベースの方法と比較してどうか。
• RQ5 GNN の反復回数とデータ拡張の影響はどのようか。

主な発見

• Point-GNN は LiDAR 点群のみを用いて KITTI の結果をリードし、いくつかのフュージョンベース手法をも上回る。
• 自動登録は翻訳変動を低減し、複数の反復にわたる局所化のロバスト性を改善する。
• ボックス結合とスコアリングは、標準的な NMS のベースラインより検出精度を一貫して改善し、特に自動登録と組み合わせた場合に効果が大きい。
• GNN の反復を 1 から 2 に増やすと顕著な改善が見られ、より深い反復は最適化の課題に直面する場合があるが、2 回の反復が彼らの設定で最も良い結果を出すことが多い。
• Bevá be examined, their ablation shows that Box merging + Box scoring + Auto-registration provide cumulative gains over individual components.