[論文レビュー] Sense Less, Generate More: Pre-training LiDAR Perception with Masked Autoencoders for Ultra-Efficient 3D Sensing

Sina Tayebati, Theja Tulabandhula+1 more|arXiv (Cornell University)|Jun 12, 2024

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

本稿では、径方向の角度領域をマスクし、欠損部分をマスク付き自己符号化器を用いて生成することで、センシングエネルギーを低減する、LiDAR Perceptionのための生成的事前学習手法であるRadial Masked Autoencoding (R-MAE) を提案する。R-MAE は、Waymo で 90% マスク条件下でも最大 5.59% の mAP/mAPH の向上を達成し、KITTI では小規模物体検出性能を 4.37% 向上させ、精度を向上させる一方で、超効率的な 3D センシングを実現した。

ABSTRACT

In this work, we propose a disruptively frugal LiDAR perception dataflow that generates rather than senses parts of the environment that are either predictable based on the extensive training of the environment or have limited consequence to the overall prediction accuracy. Therefore, the proposed methodology trades off sensing energy with training data for low-power robotics and autonomous navigation to operate frugally with sensors, extending their lifetime on a single battery charge. Our proposed generative pre-training strategy for this purpose, called as radially masked autoencoding (R-MAE), can also be readily implemented in a typical LiDAR system by selectively activating and controlling the laser power for randomly generated angular regions during on-field operations. Our extensive evaluations show that pre-training with R-MAE enables focusing on the radial segments of the data, thereby capturing spatial relationships and distances between objects more effectively than conventional procedures. Therefore, the proposed methodology not only reduces sensing energy but also improves prediction accuracy. For example, our extensive evaluations on Waymo, nuScenes, and KITTI datasets show that the approach achieves over a 5% average precision improvement in detection tasks across datasets and over a 4% accuracy improvement in transferring domains from Waymo and nuScenes to KITTI. In 3D object detection, it enhances small object detection by up to 4.37% in AP at moderate difficulty levels in the KITTI dataset. Even with 90% radial masking, it surpasses baseline models by up to 5.59% in mAP/mAPH across all object classes in the Waymo dataset. Additionally, our method achieves up to 3.17% and 2.31% improvements in mAP and NDS, respectively, on the nuScenes dataset, demonstrating its effectiveness with both single and fused LiDAR-camera modalities. https://github.com/sinatayebati/Radial_MAE.

研究の動機と目的

• 低消費電力のロボットや自律走行システムにおけるアクティブ LiDAR センサの高いエネルギー消費を軽減すること。
• 測定を実施しないで予測可能または影響が小さい環境領域を生成することで、センシングエネルギーを削減すること。
• 新しい径方向マスキング戦略を用いた生成的事前学習により、3D 物体検出の精度を向上させること。
• レーザー発光を最小限に抑えることで、超低消費電力の LiDAR 操作を実現し、性能を維持または向上させること。
• Waymo や nuScenes、KITTI といった異なるドメイン間で、強固で一般化可能な表現を転送できること。

提案手法

• R-MAE は、現地でのセンシング中に特定の角度領域のレーザー発射を無効化する、距離に配慮した径方向マスキング戦略を採用する。
• 本手法は、LiDAR ポイントクラウド内のマスクされていないボクセルから特徴を抽出するための 3D スパarsity を考慮した畳み込みエンコーダーを用いる。
• マスクされた領域におけるボクセル占有状態を二値分類により予測することで、マスク付き自己符号化器が完全な 3D シーンを再構成する。
• センシングエネルギーとモデル性能のトレードオフを調査するため、マスク率と角度セグメントのサイズを制御する。
• 大規模データセット（Waymo、nuScenes、KITTI）で事前学習を行い、下流の検出タスクに微調整する。
• レーザー出力が R⁴ に比例することを活用し、生成的再構成と組み合わせることで、低消費電力センシングをより効果的に実現する。

Figure 1 : (a) Radially masked autoencoding (R-MAE) strategy: Angular regions are completely masked out as shown in the black by turning off laser emissions. Even on the sensed regions, points are probabilistically dropped-off proportional to their distance $R$ . Notably, $P_{\text{laser}}\sim R^{4}

実験結果

リサーチクエスチョン

• RQ1 径方向マスキングを用いた生成的事前学習により、物体検出性能に悪影響を及げることなく、LiDAR センシングエネルギーを低減できるか？
• RQ2 空間的関係性や 3D シーン内の物体距離を保持する観点で、径方向マスキングはランダムなパッチマスキングと比べてどのように優れているか？
• RQ3 極端なマスク率（例：90%）下でも、R-MAE は検出精度を維持または向上させられるか？
• RQ4 Waymo や nuScenes から KITTI に表現を転送する際、R-MAE はドメイン一般化性能を向上させるか？
• RQ5 径方向マスキング戦略におけるマスクセグメントの角度サイズは、R-MAE の性能にどの程度影響を与えるか？

主な発見

• R-MAE は、Waymo、nuScenes、KITTI の各データセットで、平均精度が 5% 以上向上した。
• KITTI データセットでは、中程度の難易度レベルにおいて、小規模物体検出のAPが最大 4.37% 向上した。
• 90% の径方向マスク条件下でも、R-MAE は Waymo データセットでベースラインモデルを最大 5.59% 上回った mAP/mAPH を達成した。
• nuScenes データセットでは、単一および融合 LiDAR-カメラモダリティの両方で、mAP が最大 3.17% 向上し、NDS が最大 2.31% 向上した。
• ドメイン転送タスクにおいて、4% 以上の精度向上を示し、Waymo から KITTI に転送した際の歩行者検出では 4.09% の向上を達成した。
• 92% のマスク率でも高い性能を維持しており、効果的な運用には LiDAR の BEV のわずか 8% のセンシングで十分であることが示された。

Figure 2 : Accuracy under varying pretraining conditions, (a) at varying masking ratios with a fixed angular range of 1 degree, and (b) at different angular ranges with a fixed masking ratio of 0.8. Results are compared against the state-of-the-art (SOTA) PointPillars [ 39 ] method.