[論文レビュー] LIGA-Stereo: Learning LiDAR Geometry Aware Representations for Stereo-based 3D Detector

Xiaoyang Guo, Shaoshuai Shi+2 more|arXiv (Cornell University)|Aug 18, 2021

Advanced Neural Network Applications参考文献 9被引用数 7

ひとこと要約

LIGA-Stereoは、LiDARベースの教師モデルから得られる幾何学的特徴を活用することで、ステレオ検出器の性能を向上させる、新しいステレオベースの3Dオブジェクト検出フレームワークを提案する。高レベルの3D幾何的表現を蒸留し、セマンティックな監視を直接行う2D検出ヘッドを追加することで、KITTIベンチマークにおいて自動車、歩行者、自転車の各クラスで、それぞれ10.44%、5.69%、5.97%のmAP向上を達成した。

ABSTRACT

Stereo-based 3D detection aims at detecting 3D object bounding boxes from stereo images using intermediate depth maps or implicit 3D geometry representations, which provides a low-cost solution for 3D perception. However, its performance is still inferior compared with LiDAR-based detection algorithms. To detect and localize accurate 3D bounding boxes, LiDAR-based models can encode accurate object boundaries and surface normal directions from LiDAR point clouds. However, the detection results of stereo-based detectors are easily affected by the erroneous depth features due to the limitation of stereo matching. To solve the problem, we propose LIGA-Stereo (LiDAR Geometry Aware Stereo Detector) to learn stereo-based 3D detectors under the guidance of high-level geometry-aware representations of LiDAR-based detection models. In addition, we found existing voxel-based stereo detectors failed to learn semantic features effectively from indirect 3D supervisions. We attach an auxiliary 2D detection head to provide direct 2D semantic supervisions. Experiment results show that the above two strategies improved the geometric and semantic representation capabilities. Compared with the state-of-the-art stereo detector, our method has improved the 3D detection performance of cars, pedestrians, cyclists by 10.44%, 5.69%, 5.97% mAP respectively on the official KITTI benchmark. The gap between stereo-based and LiDAR-based 3D detectors is further narrowed.

研究の動機と目的

• ステレオベースとLiDARベースの3D検出器の性能差を解消するために、ステレオネットワークにおける幾何的およびセマンティック特徴学習を向上させること。
• 深度推定誤差に起因する、ステレオ検出器における間接的3D監視の限界を克服すること。
• 事前に学習されたLiDARベースの検出器から得られる高レベルの幾何学的特徴を教師として活用し、特徴表現を強化すること。
• ステレオ検出器の学習中にLiDAR特徴を正則化として用いることで、過学習を低減し、一般化性能を向上させること。
• 補助検出ヘッドによる直接的な2Dセマンティック監視を通じて、特にレアカテゴリ（自転車乗り）の検出リコールを向上させること。

提案手法

• ステレオ検出器の中間特徴（3Dボリュームおよびビューポイント特徴）を、LiDARベースの教師モデルのそれと一致させる知識蒸留戦略を導入し、幾何学的特徴に焦点を当てる。
• 表面法線方向やオブジェクト境界の手がかりを含む、LiDARモデルの高レベル特徴からの知識転送を目的としたマルチステージ特徴模倣損失を用いる。
• 2Dセマンティック特徴ストリームに補助的な2D検出ヘッドを接続し、3D監視に依存しない直接的なセマンティック学習の監視を提供する。
• 背景特徴による悪影響を回避するため、フォアグラウンドマスクに基づく特徴模倣を適用する。
• 模倣損失の重み（λim）を最適化し、幾何的ガイダンスと検出性能のバランスを取る。λim = 1.0が最適であることが判明した。
• 2Dバックボーンの初期セマンティック特徴品質を向上させるために、ImageNetで事前学習された重みを活用する。特にリソースが少ないカテゴリにおいて顕著である。

Figure 1: Our method utilizes superior geometry-aware features from LiDAR-based 3D detection models to guide the training of stereo-based 3D detectors.

実験結果

リサーチクエスチョン

• RQ1 LiDARベースの検出器から得られる高レベルの幾何学的特徴は、ステレオベースの3D検出器における幾何的表現学習を向上させることができるか？
• RQ2 補助検出ヘッドによる直接的な2Dセマンティック監視は、ステレオ検出器において間接的3D監視よりも優れたセマンティック特徴学習をもたらすか？
• RQ3 LiDAR特徴の蒸留は、ステレオベースとLiDARベースの3D検出の性能差をどの程度縮小できるか？
• RQ4 フォアグラウンドマスクに基づく特徴模倣は、ステレオ検出器の学習のロバスト性と正確性にどのように影響するか？
• RQ5 幾何的蒸留と直接的な2D監視の組み合わせは、自転車のようなレアカテゴリの検出性能を顕著に向上させることができるか？

主な発見

• 提案されたLIGA-Stereoは、KITTI 3D検出ベンチマークにおいて、最先端のステレオ検出器と比較して、自動車クラスで10.44%、歩行者クラスで5.69%、自転車クラスで5.97%のmAP向上を達成した。
• フォアグラウンドマスクを用いた3Dボリュームおよび集約されたBEV特徴の両方の特徴模倣（λim = 1.0）が最良の性能を示し、自動車、歩行者、自転車クラスでそれぞれ2.9%、5.2%、6.9%のmAP向上を達成した。
• フォアグラウンドマスクを削除した場合（w/o Mfg）は、性能向上がほとんど見られず、オブジェクト領域に焦点を当てる重要性を確認した。
• 最適な模倣損失重みλim = 1.0は、幾何的ガイダンスと検出精度のバランスを最適に保ち、値が高すぎたり低すぎたりすると性能が低下することが判明した。
• 直接的な2D検出ヘッドの追加により、自転車クラスの3D APが26.77%から30.26%に向上し、リソースが少ないカテゴリにおいて顕著な向上が確認された。
• ImageNetで事前学習された重みを用いることで、2D検出ヘッドは自動車で92%、歩行者で54%、自転車で41%のAPを達成し、事前学習がセマンティック特徴学習に価値をもたらすことを確認した。

Figure 2: The framework of our stereo-based 3D detection algorithm. (a) The stereo matching network which takes a stereo image pair as inputs and outputs a feature volume in 3D space. (b) and (d) share the same structure, which detects 3D objects from dense / sparse 3D feature volumes, respectively.