[論文レビュー] LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention

Junbo Yin, Jianbing Shen+3 more|arXiv (Cornell University)|Apr 3, 2020

Advanced Neural Network Applications参考文献 64被引用数 14

ひとこと要約

本稿では、グラフベースのメッセージパッシングと空間時間的トランスフォーマー注意を用いた、LiDAR点群のエンドツーエンドオンライン3次元動画オブジェクト検出器を提案する。空間特徴符号化の向上を図るPillar Message Passing Network（PMPNet）と、空間的および時間的注意を備えた長距離依存関係をモデル化するAttentive Spatiotemporal Transformer GRU（AST-GRU）を導入し、nuScenesベンチマークで29.35%のmAPを達成し、最先端の性能を実現した。

ABSTRACT

Existing LiDAR-based 3D object detectors usually focus on the single-frame detection, while ignoring the spatiotemporal information in consecutive point cloud frames. In this paper, we propose an end-to-end online 3D video object detector that operates on point cloud sequences. The proposed model comprises a spatial feature encoding component and a spatiotemporal feature aggregation component. In the former component, a novel Pillar Message Passing Network (PMPNet) is proposed to encode each discrete point cloud frame. It adaptively collects information for a pillar node from its neighbors by iterative message passing, which effectively enlarges the receptive field of the pillar feature. In the latter component, we propose an Attentive Spatiotemporal Transformer GRU (AST-GRU) to aggregate the spatiotemporal information, which enhances the conventional ConvGRU with an attentive memory gating mechanism. AST-GRU contains a Spatial Transformer Attention (STA) module and a Temporal Transformer Attention (TTA) module, which can emphasize the foreground objects and align the dynamic objects, respectively. Experimental results demonstrate that the proposed 3D video object detector achieves state-of-the-art performance on the large-scale nuScenes benchmark.

研究の動機と目的

• 自動運転におけるオクルージョン、疎な点群、動的オブジェクトの取り扱いに課題を抱える単フレーム3次元オブジェクト検出器の限界を克服すること。
• 点群動画シーケンスにおける空間時間的整合性を活用し、検出のロバスト性と正確性を向上させること。
• LiDAR点群において長距離の空間的および時間的依存関係を効果的にモデル化する手法を、オンラインでリアルタイム推論が可能な形で開発すること。
• 再帰的メモリユニット内での注目メカニズムを用いて、背景ノイズの低減と動的オブジェクトのフレーム間ずれの是正を図ること。
• 3次元動画オブジェクト検出において、大規模なnuScenesベンチマークで最先端の性能を達成すること。

提案手法

• 非空のピラーポイントをノードとみなすグラフベースの空間エンコーダーとして、Pillar Message Passing Network（PMPNet）を提案。k-NNグラフ上で反復的メッセージパッシングを実行し、受容 field を拡大する。
• ConvGRUを拡張した注目メカニズムを備えたメモリゲーティング機構を有する、空間時間的特徴集約用のAttentive Spatiotemporal Transformer GRU（AST-GRU）を設計。
• 文脈特徴に注目することで背景ノイズを抑制し、前方オブジェクトを強調するため、Spatial Transformer Attention（STA）モジュールを統合。
• フレーム間で動的オブジェクトをアライメントするためのTemporal Transformer Attention（TTA）モジュールを導入。相互注目を用いることで、運動に起因するノイズに対してもメモリ更新の質を向上させる。
• 静的オブジェクトのアライメントにエゴモーション情報を用い、TTAと組み合わせることで動的シーンにおける時間的モデリングを強化。
• 順次的な点群フレーム上でエンドツーエンドモデルを学習し、長期間の時間的文脈を活用したオンライン推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのメッセージパッシングは、局所的なボクセルやピラー集約を超えて、3次元点群フレームにおける空間特徴表現を改善できるか？
• RQ2 注目を強化した再帰的ユニットは、LiDAR動画シーケンスにおける長距離空間時間的依存関係をどの程度効果的にモデル化できるか？
• RQ3 空間的注目は、背景干渉をどの程度低減し、小さなオブジェクトや隠れオブジェクトの検出を向上させられるか？
• RQ4 時間的注目は、移動オブジェクトのメモリアライメントを改善し、動的シーンにおける検出のロバスト性を向上させられるか？
• RQ5 長期間の時間的文脈（例：2.5秒）を組み込むことで、大規模ベンチマークにおける3次元オブジェクト検出性能が顕著に向上するか？

主な発見

• 提案されたPMPNetは、PointPillarsベースラインを+2.05% mAP向上させ、グラフベースのメッセージパッシングによる空間受容 field 拡大の有効性を実証した。
• STAおよびTTAモジュールを併用したAST-GRUは、単一フレームのPointPillarsベースライン比で+5.98% mAP向上を達成し、注目メカニズムを備えたメモリゲーティングの価値を示した。
• より長い入力シーケンス（2.5秒、5フレーム）を用いることで、単一フレーム入力と比較してmAPが+4.68%向上し、長期時間的モデリングの利点を確認した。
• フルモデルはnuScenesベンチマークで29.35%のmAPを達成し、既存の動画検出器を上回り、新たな最先端性能を樹立した。
• アブレーションスタディの結果、STAおよびTTAモジュールの両方が顕著に寄与しており、TTA-GRU単体で+4.02% mAP、STA-GRU単体でも+4.02% mAPを達成した。これは、両モジュールが相補的な役割を果たしていることを示している。
• 定性的な結果から、モデルは時間的一致性を活用することで、単一フレーム検出器が困難な隠れや遠方の車両を効果的に検出できていることが示された。