[論文レビュー] MonoDistill: Learning Spatial Features for Monocular 3D Object Detection

Zhiyu Chong, Xinzhu Ma+5 more|arXiv (Cornell University)|Jan 26, 2022

Advanced Neural Network Applications被引用数 59

ひとこと要約

MonoDistill は LiDAR ベースの教師から空間手がかりをモノキュラ検出器へ転送し、LiDAR信号を画像平面に投影して推論コストを増やさずに単眼の3D検出を改善する。

ABSTRACT

3D object detection is a fundamental and challenging task for 3D scene understanding, and the monocular-based methods can serve as an economical alternative to the stereo-based or LiDAR-based methods. However, accurately detecting objects in the 3D space from a single image is extremely difficult due to the lack of spatial cues. To mitigate this issue, we propose a simple and effective scheme to introduce the spatial information from LiDAR signals to the monocular 3D detectors, without introducing any extra cost in the inference phase. In particular, we first project the LiDAR signals into the image plane and align them with the RGB images. After that, we use the resulting data to train a 3D detector (LiDAR Net) with the same architecture as the baseline model. Finally, this LiDAR Net can serve as the teacher to transfer the learned knowledge to the baseline model. Experimental results show that the proposed method can significantly boost the performance of the baseline model and ranks the $1^{st}$ place among all monocular-based methods on the KITTI benchmark. Besides, extensive ablation studies are conducted, which further prove the effectiveness of each part of our designs and illustrate what the baseline model has learned from the LiDAR Net. Our code will be released at \url{https://github.com/monster-ghost/MonoDistill}.

研究の動機と目的

• 推論コストを増やさずに LiDAR からの空間手がかりを活用してモノキュラ3D物体検出を改善する動機付け。
• 効果的な知識移転のために LiDAR由来のマップを RGB 入力と整合させる蒸留ベースのフレームワークを提案する。
• 画像状 LiDAR マップ上で LiDAR ベースの教師ネットワークを訓練し、ガイダンスをモノキュラの student ネットワークへ蒸留する。
• 検出性能を向上させるための 3 つの蒸留方式と注意機構ベースの融合の有効性を示す。

提案手法

• LiDAR 点を画像平面に投影し、補間により密な深度を求めて画像状 LiDAR マップを生成する。
• アーキテクチャを学生ベースライン（MonoDLE）と同一にした LiDAR ベースの教師ネットワークを訓練する。
• 教師から学生へ空間手がかりを転送するために、 scene-level feature affinity distillation、object-level feature space distillation、object-level result-space distillation の 3 種類の蒸留方式を適用する。
• 特徴空間蒸留を高めるために注意ベースの融合モジュールを用いる。
• L = L_src + lambda1*L_sf + lambda2*L_of + lambda3*L_or の結合損失でエンドツーエンドに訓練する；教師は L_src のみを使用する。

実験結果

リサーチクエスチョン

• RQ1 LiDAR ベースの教師が学習した空間手がかりは、学生アーキテクチャを変えず推論コストを増やさずにモノキュラ3D検出を改善できるか？
• RQ2 空間情報を最も効果的に転送する蒸留ストリームは、 scene-level、feature space のオブジェクトレベル、result space のオブジェクトレベルのどれか？
• RQ3 LiDAR由来のマップをプロジェクションで RGB データと整合させる監督信号は、深度推定を中間タスクとするよりも優れているか？
• RQ4 KITTI における本手法のモノキュラ検出器との比較での性能はどうか？

主な発見

• 全体の MonoDistill 手法は KITTI の検証・テストセットで 3D および BEV 指標のベースラインに対して一貫した改善をもたらす。
• KITTI バリデーションでは IOU 0.7 の 3D AP が 3.34 (moderate)、5.02 (easy)、2.98 (hard) 向上; BEV は 5.16 (moderate)、6.62 (easy)、3.87 (hard)。
• KITTI テストセットでは 従来のモノキュラ手法に対して 3D および BEV 指標で顕著な利得を達成し、1 枚あたり約 40 ms で動作、いくつかの深度ベース手法より高速。
• アブレーション解析は三つの蒸留方式すべてが寄与することを示し、前景領域の指示や領域ベースのラベルの指導が、全画像指導やスパースピクセル指導よりも優れる。
• モデル間の分析は、教師の精度が必ずしも高くなくても、教師の補完的な空間情報が利得を生み出すことを示す；深度推定を中間タスクとすると情報損失が生じ、直接 LiDAR から検出器への指導より劣る。