[論文レビュー] SS3D: Single Shot 3D Object Detector

Aniket Limaye, Manu Mathew+4 more|arXiv (Cornell University)|Apr 30, 2020

Advanced Neural Network Applications参考文献 18被引用数 4

ひとこと要約

SS3D は、PointPillars の学習された入力表現を置き換え、計算効率が良く統計的に導かれた入力表現を採用した単段階 3D 物体検出フレームワークを提案する。LiDAR およびステレオ入力の両方で最先端の性能を達成した。LiDILAR 入力では車両の AP3D を中程度カテゴリで 76.84 まで向上、ステレオ入力では 45.13 まで向上させ、PointPillars や他の最先端の検出器を上回りながら、埋め込みシステムに適したリアルタイム性能を維持した。

ABSTRACT

Single stage deep learning algorithm for 2D object detection was made popular by Single Shot MultiBox Detector (SSD) and it was heavily adopted in several embedded applications. PointPillars is a state of the art 3D object detection algorithm that uses a Single Shot Detector adapted for 3D object detection. The main downside of PointPillars is that it has a two stage approach with learned input representation based on fully connected layers followed by the Single Shot Detector for 3D detection. In this paper we present Single Shot 3D Object Detection (SS3D) - a single stage 3D object detection algorithm which combines straight forward, statistically computed input representation and a Single Shot Detector (based on PointPillars). Computing the input representation is straight forward, does not involve learning and does not have much computational cost. We also extend our method to stereo input and show that, aided by additional semantic segmentation input; our method produces similar accuracy as state of the art stereo based detectors. Achieving the accuracy of two stage detectors using a single stage approach is important as single stage approaches are simpler to implement in embedded, real-time applications. With LiDAR as well as stereo input, our method outperforms PointPillars. When using LiDAR input, our input representation is able to improve the AP3D of Cars objects in the moderate category from 74.99 to 76.84. When using stereo input, our input representation is able to improve the AP3D of Cars objects in the moderate category from 38.13 to 45.13. Our results are also better than other popular 3D object detectors such as AVOD and F-PointNet.

研究の動機と目的

• 高精度を維持しながら、リアルタイムの埋め込みシステムに実装可能な単段階 3D 物体検出フレームワークを開発すること。
• PointPillars の学習された二段階入力表現を、より高速で学習しない統計的に計算された入力表現に置き換えること。
• 方法をステレオ入力に拡張し、モノクロナル設定での性能向上を図るためにセマンティックセグメンテーションを統合すること。
• より単純な単段階アーキテクチャを用いて、二段階検出器と同等の性能を達成すること。
• 学習しない入力表現が 3D 検出ベンチマークで学習された対応表現を上回ることを示すこと。

提案手法

• 入力表現は、ボクセルごとの点群統計（例：平均、分散、密度）から直接計算され、深層学習ベースの特徴抽出を回避する。
• 統計的入力表現は、SSD や PointPillars をインspired した単ショット検出ヘッドに供給され、エンドツーエンドの推論が可能になる。
• ステレオ入力の場合、左・右の RGB 画像と深度推定値を融合し、セマンティックセグメンテーションマップを追加の入力チャネルとして統合する。
• 検出器は、SSD に類似したアンカーベースの回帰および分類ヘッドを用い、BEV（鳥眼視点）空間における 3D 検出に適応させた。
• パイプライン全体が一度のステージで学習され、別個の特徴学習ステージの必要がなくなる。
• 本手法は PointPillars のバックボーンアーキテクチャを採用しているが、その学習された入力エンコーダーを、微分可能で学習しない統計的表現に置き換えている。

実験結果

リサーチクエスチョン

• RQ1 学習しない統計的入力表現は、3D 物体検出において、学習された二段階入力表現を上回ることができるか？
• RQ2 統計的入力表現を用いた単段階 3D 検出器は、最先端の二段階検出器と同等の精度を達成できるか？
• RQ3 提案手法はセマンティックセグメンテーションを統合したステレオ入力に一般化可能であり、ステレオ特化型最先端検出器と同等の性能を達成できるか？
• RQ4 統計的入力表現は計算コストを低減し、精度を損なわず推論速度を向上させることができるか？
• RQ5 統一された単段階アーキテクチャを用いて、LiDAR およびステレオ入力の両方で高い性能を達成できるか？

主な発見

• 提案された統計的入力表現により、KITTI データセットにおける LiDAR 入力で、車両の AP3D が中程度カテゴリで 74.99 から 76.84 に向上した。
• ステレオ入力では、車両の AP3D が中程度カテゴリで 45.13 に達し、ベースラインの PointPillars 構成の 38.13 から向上した。
• AVOD や F-PointNet などの他の最先端 3D 検出器よりも、LiDAR およびステレオの両ベンチマークで優れた性能を示した。
• モデルの複雑さや推論遅延を増加させることなく、性能向上が達成され、リアルタイム適合性が維持された。
• ステレオ入力にセマンティックセグメンテーションを統合することで、検出精度が顕著に向上し、最先端のステレオ検出器に近い性能に達した。
• アブレーションスタディにより、この単段階設定において、統計的入力表現が学習された表現よりも効果的であることが確認された。