[論文レビュー] S-AT GCN: Spatial-Attention Graph Convolution Network based Feature Enhancement for 3D Object Detection

Li Wang, Chenfei Wang+3 more|arXiv (Cornell University)|Mar 15, 2021

Advanced Neural Network Applications参考文献 24被引用数 7

ひとこと要約

本論文では、分割ベースの手法におけるパーティション効果を軽減することで、3次元物体検出における特徴抽出を向上させる空間注意グラフ畳み込みネットワークS-AT GCNを提案する。局所的な幾何的詳細を捉えるためにグラフ畳み込みと空間注意メカニズムを統合することで、小型物体の性能が向上し、歩行者mAPが3.62%、自転車乗りmAPが4.21%向上した。一方で、単一のRTX 3090で48FPSのリアルタイム推論を維持した。

ABSTRACT

3D object detection plays a crucial role in environmental perception for autonomous vehicles, which is the prerequisite of decision and control. This paper analyses partition-based methods' inherent drawbacks. In the partition operation, a single instance such as a pedestrian is sliced into several pieces, which we call it the partition effect. We propose the Spatial-Attention Graph Convolution (S-AT GCN), forming the Feature Enhancement (FE) layers to overcome this drawback. The S-AT GCN utilizes the graph convolution and the spatial attention mechanism to extract local geometrical structure features. This allows the network to have more meaningful features for the foreground. Our experiments on the KITTI 3D object and bird's eye view detection show that S-AT Conv and FE layers are effective, especially for small objects. FE layers boost the pedestrian class performance by 3.62\% and cyclist class by 4.21\% 3D mAP. The time cost of these extra FE layers are limited. PointPillars with FE layers can achieve 48 PFS, satisfying the real-time requirement.

研究の動機と目的

• 分割ベースの3次元物体検出手法に内在するパーティション効果を特定・分析し、小型・スパarsityな物体の性能低下を解明すること。
• パーティション処理後に失われた幾何的詳細を回復するための特徴強化（FE）レイヤーを提案し、浅いネットワーク層における特徴表現を向上させること。
• ユークリッド距離に基づく注意を用いて局所的な幾何的構造を明示的にモデル化する空間注意グラフ畳み込み（S-AT GCN）モジュールを設計すること。
• FEレイヤーが小型3次元物体の検出精度を向上させつつ、リアルタイム推論速度を損なわないことを検証すること。
• FEレイヤーがハイパスフィルタとして機能し、特徴マップのコントラストと詳細を強化することで、小型またはスパarsityなインスタンスの識別性を向上させることを示すこと。

提案手法

• S-AT GCNは、点群内の点間の局所的幾何的関係をモデル化するためのグラフ畳み込みを採用し、単なるプーリングを超えた構造的特徴を捉える。
• 空間注意メカニズムを導入し、頂点ペair間のユークリッド距離に基づいて注意重みを計算することで、近接で関連性の高い点に注目する。
• 注意メカニズムをグラフ畳み込みの前処理として適用し、動的に特徴を再重み付けすることで、局所的活性化を確保し、細粒度の幾何的詳細を保持する。
• S-AT GCNは、PointPillarsのピラー特徴抽出直後に配置されたカスケードFEレイヤーとしてスタックされ、その後続の検出ヘッドの前に特徴マップを強化する。
• グラフ構築にはk=9の近隣点を用い、計算コストを低減するため注意メカニズムに次元削減を組み込む。
• FEレイヤーはPointPillarsに統合され、スパースなビアズアイビュー特徴マップを局所コントラストを強化したより識別性の高い表現に変換する。

実験結果

リサーチクエスチョン

• RQ1 分割ベースの3次元検出手法におけるパーティション処理が、小型・スパarsityな物体の性能にどのように悪影響を及えるか？
• RQ2 専用の特徴強化（FE）レイヤーが3次元物体検出におけるパーティション効果をどの程度軽減できるか？
• RQ3 空間的注意を備えたグラフ畳み込みネットワークは、パーティショニング中に失われた局所的幾何的構造の詳細を効果的に回復できるか？
• RQ4 提案されたS-AT GCNは、標準的な畳み込みまたは注意のみのモジュールと比較して、小型物体検出のための特徴表現をどの程度向上できるか？
• RQ5 PointPillarsのような最先端の検出器にFEレイヤーを統合した場合、推論速度とリアルタイム性能にどのような影響があるか？

主な発見

• S-AT GCNを用いたFEレイヤーは、KITTIデータセット上で歩行者3次元mAPを3.62%、自転車乗りmAPを4.21%向上させ、小型物体に対する顕著な向上を示した。
• FEレイヤーの追加により、誤検出（特に歩行者として誤分類される可能性の高い交通標識など、小型または曖昧な物体）が減少した。
• FEレイヤーはハイパスフィルタとして機能し、特徴マップの局所コントラストを強化すると同時に、背景ノイズを抑制し、構造的詳細を保持した。
• リアルタイム推論を維持し、単一のNVIDIA RTX 3090で48FPSを達成した。これは自動運転システムのリアルタイム要件を満たしている。
• 次元削減を施した自己注意（ATDR）は、自転車乗りで2–3%、歩行者で1%の向上をもたらし、特徴精錬における注意の価値を示した。
• FEレイヤーの数に性能への影響は最小限であり、3層で十分で安定しており、FEスタックの深さに対して頑健であることが示された。