[論文レビュー] TANet: Robust 3D Object Detection from Point Clouds with Triple Attention

Zhe Liu, Xin Zhao+4 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Neural Network Applications参考文献 31被引用数 29

ひとこと要約

TANetは、3Dオブジェクト検出のための新規なポイントクラウドフレームワークを提案し、三重注意（TA）モジュールと粗大から精密な回帰（CFR）を用いて、ノイズが多く困難な状況下でも高いロバスト性を実現する。TAモジュールはチャネル単位、ポイント単位、ボクセル単位の注意を統合的にモデル化し、ノイズを低減するとともに特徴を強調する。一方、CFRは統合されたクロスレイヤー特徴を用いてバウンディングボックスを精緻化する。KITTIベンチマークにおいてTANetは最先端の性能を達成し、Pedestrianクラスで1位を記録。29 FPSの推論速度を維持しながら、ノイズが多い条件下でも顕著に優れた性能を示した。

ABSTRACT

In this paper, we focus on exploring the robustness of the 3D object detection in point clouds, which has been rarely discussed in existing approaches. We observe two crucial phenomena: 1) the detection accuracy of the hard objects, e.g., Pedestrians, is unsatisfactory, 2) when adding additional noise points, the performance of existing approaches decreases rapidly. To alleviate these problems, a novel TANet is introduced in this paper, which mainly contains a Triple Attention (TA) module, and a Coarse-to-Fine Regression (CFR) module. By considering the channel-wise, point-wise and voxel-wise attention jointly, the TA module enhances the crucial information of the target while suppresses the unstable cloud points. Besides, the novel stacked TA further exploits the multi-level feature attention. In addition, the CFR module boosts the accuracy of localization without excessive computation cost. Experimental results on the validation set of KITTI dataset demonstrate that, in the challenging noisy cases, i.e., adding additional random noisy points around each object,the presented approach goes far beyond state-of-the-art approaches. Furthermore, for the 3D object detection task of the KITTI benchmark, our approach ranks the first place on Pedestrian class, by using the point clouds as the only input. The running speed is around 29 frames per second.

研究の動機と目的

• ノイズが多く、困難な状況下におけるポイントクラウドにおける3Dオブジェクト検出のロバスト性を向上させること、特に歩行者など検出が難しいオブジェクトに対して。
• 疎なポイントクラウドと背景の干渉によって検出精度が低下する小規模でごみだらけのオブジェクト（例：歩行者）の検出精度を改善すること。
• 実世界のLiDARデータに追加されたランダムなノイズポイントによって引き起こされる性能低下を軽減すること。
• 過度な計算コストを伴わずに高い精度を維持できる軽量で効率的な検出フレームワークを構築すること。

提案手法

• 三重注意（TA）モジュールは、チャネル単位、ポイント単位、ボクセル単位の注意を統合的にモデル化し、特徴の識別性を高め、不安定またはノイズの多いポイントを低減する。
• TAモジュールは、空間（ポイント単位）とチャネル単位の注意を要素ごとの乗算で統合し、その後にボクセル単位の注意を適用してグローバルな文脈を捉える。
• 異なる受容 field をカバーする多段階の特徴表現を抽出するためにスタックされたTA機構を採用する。
• 粗大から精密な回帰（CFR）モジュールは、まず粗いバウンディングボックス予測を生成し、その後にクロスレイヤー特徴マップのピラミッドサンプリングアグリゲーション（PSA）統合を用いてそれを精緻化する。
• PSAモジュールは、階層的な文脈情報を利用することで、複数のレイヤーからの特徴を集約し、局所化精度を向上させる。
• ネットワーク全体はエンドツーエンドで学習可能であり、KITTIデータセット上で約29 FPSの推論速度を達成している。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある3Dポイントクラウドにおける特徴表現を向上させるために、注意メカニズムをどのように統合的に設計できるか？
• RQ2 計算コストを増加させずに、粗大から精密な回帰戦略が局所化精度を向上させられるか？
• RQ3 ボクセル単位の注意を統合することで、ランダムなノイズポイントが存在する状況でのロバスト性がどのように向上するか？
• RQ4 提案された注意と回帰アーキテクチャは、困難でノイズの多い検出シナリオにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• TANetは、100個のノイズポイントを含むKITTI検証セットで67.79%の3D mAPを達成し、ベースライン（65.59%）および他の注意統合手法を顕著に上回った。
• ポイント単位とチャネル単位の注意を統合するためのPACA統合は67.38%のmAPを達成し、連結法や逐次統合法を上回った。
• TAモジュールによるボクセル単位の注意統合によりmAPは67.79%に上昇し、多段階の注意統合の有効性が裏付けられた。
• TAモジュールと組み合わせたPSAモジュールは、mAPを2.1%向上させ、強い相乗効果を示した。
• TAとPSAの両方を組み合わせた場合、mAPは69.35%に達し、RefineDetやベースラインモデルを顕著に上回った。
• KITTIベンチマークにおいてTANetはPedestrianクラスで1位を記録し、58.43%のmAPを達成した。これは、検出が難しいオブジェクトに対する優れたロバスト性を示している。