[論文レビュー] Transformation-Equivariant 3D Object Detection for Autonomous Driving

Wu Hai, Chenglu Wen+4 more|arXiv (Cornell University)|Nov 22, 2022

Advanced Neural Network Applications被引用数 13

ひとこと要約

本論文は、スパース畳み込みと新規のプーリングモジュールを用いて回転および反転に不変な特徴を学習する、自律走行を想定した高効率な変換不変性を持つ3次元オブジェクト検出器TEDを提案する。等化されたボクセル特徴をコンactな表現に整列・集約することで、KITTI 3D検出リーダーボードで85.28% AP（中程度の車両クラス）を達成し、0.1秒未満の推論速度を実現。TAAおよび先行する不変性を持つ手法と比較して、精度と効率の両面で優れた性能を発揮した。

ABSTRACT

3D object detection received increasing attention in autonomous driving recently. Objects in 3D scenes are distributed with diverse orientations. Ordinary detectors do not explicitly model the variations of rotation and reflection transformations. Consequently, large networks and extensive data augmentation are required for robust detection. Recent equivariant networks explicitly model the transformation variations by applying shared networks on multiple transformed point clouds, showing great potential in object geometry modeling. However, it is difficult to apply such networks to 3D object detection in autonomous driving due to its large computation cost and slow reasoning speed. In this work, we present TED, an efficient Transformation-Equivariant 3D Detector to overcome the computation cost and speed issues. TED first applies a sparse convolution backbone to extract multi-channel transformation-equivariant voxel features; and then aligns and aggregates these equivariant features into lightweight and compact representations for high-performance 3D object detection. On the highly competitive KITTI 3D car detection leaderboard, TED ranked 1st among all submissions with competitive efficiency.

研究の動機と目的

• 3次元オブジェクト検出器において回転および反転の変化を明示的にモデル化していないことによる、頑健性の低さと大量のデータ拡張に依存する問題を解決すること。
• 自律走行のリアルタイム応用に適した3次元検出において、既存の不変性を持つネットワークの高い計算コストと遅い推論速度を克服すること。
• 変換不変性特徴学習を活用することで、高精度を維持しながらリアルタイム推論を達成できる効率的なアーキテクチャを設計すること。
• 近接する密集オブジェクトから得られるスパースな訓練サンプルを活用する新規な距離に配慮したデータ拡張戦略により、遠方やスパースなオブジェクトの検出を向上させること。

提案手法

• 複数の回転・反転された点群変換にわたって共有重みを用いることで、多チャンネルの変換不変性を持つボクセル特徴を抽出する、変換不変性を持つスパース畳み込み（TeSpConv）を導入。
• シーンレベルの不変性特徴を軽量な表現に整列・集約することでオブジェクト候補を生成する、変換不変性を持つビューアス（TeBEV）プーリングを提案。
• インスタンスレベルの特徴をコンactな不変表現に整列・集約することで候補を精緻化する、変換不変性を持つボクセル（TiVoxel）プーリングを開発。
• 周囲の密集オブジェクトからスパースな訓練サンプルを生成することで、遠方オブジェクト検出における幾何的汎化性を向上させる、距離に配慮したデータ拡張（DA-Aug）技術を採用。
• 2段階のボクセルベース検出パイプラインを採用し、スパース演算と特徴圧縮により効率を保ちながら、不変性設計を拡張。
• 共有重みと特徴整列を用いた複数変換推論戦略により、繰り返し全ネットワーク推論を実行せずに不変性を達成。

実験結果

リサーチクエスチョン

• RQ1 広範なデータ拡張やテスト時アンサンブルに依存せずに、任意の回転・反転に対して頑健な性能を発揮できる3次元オブジェクト検出器は可能か？
• RQ2 自律走行システムにおけるリアルタイム推論に耐えうるほど、変換不変性特徴学習を計算的に効率化できるか？
• RQ3 変換不変性表現は、特に遠方またはスパースなオブジェクトの検出精度をどの程度向上できるか？
• RQ4 密集オブジェクトの周囲からスパースなサンプルを合成する新規なデータ拡張戦略は、遠方オブジェクトの検出を向上させられるか？

主な発見

• TEDは2022年8月15日現在、KITTI 3D検出ベンチマークで中程度の車両クラスにおいて85.28%のAPを達成し、全提出物の中で1位を記録した。
• ベースラインと比較してAPが2.2%向上し、TAAと比較して1.26%向上した一方で、推論時間を0.27秒から0.09秒に短縮した。
• 先行する不変性を持つ検出器EONと比較して、AP（車両、中程度）で9.3%向上したが、0.09秒（EONは0.4秒）で4.4倍速く動作した。
• TED-MのKITTIバリデーションセットでは、方向推定精度（AOS）が97.10に達し、優れた方向推定性能を示した。
• 提案されたDA-Aug拡張法により、スパースで遠方のオブジェクトの検出が向上し、周囲の密集オブジェクトから現実的なスパースな訓練サンプルを生成した。
• LiDARオンリーモードでは11.1 FPSを達成し、Voxel-RCNN（25 FPS）よりも精度に優れながらも、競争力ある速度を維持した。