[論文レビュー] Range Conditioned Dilated Convolutions for Scale Invariant 3D Object Detection

Alex Bewley, Pei Sun+3 more|arXiv (Cornell University)|May 20, 2020

Robotics and Sensor-Based Localization被引用数 67

ひとこと要約

LiDARのレンジ画像ベースの3D物体検出用にRange Conditioned Dilated (RCD)畳み込みを導入し、スケール不変な受容野と長距離検出の改善を実現。2段階のRPN+RCNNフレームワークとソフトレンジゲーティングを採用。

ABSTRACT

This paper presents a novel 3D object detection framework that processes LiDAR data directly on its native representation: range images. Benefiting from the compactness of range images, 2D convolutions can efficiently process dense LiDAR data of a scene. To overcome scale sensitivity in this perspective view, a novel range-conditioned dilation (RCD) layer is proposed to dynamically adjust a continuous dilation rate as a function of the measured range. Furthermore, localized soft range gating combined with a 3D box-refinement stage improves robustness in occluded areas, and produces overall more accurate bounding box predictions. On the public large-scale Waymo Open Dataset, our method sets a new baseline for range-based 3D detection, outperforming multiview and voxel-based methods over all ranges with unparalleled performance at long range detection.

研究の動機と目的

• LiDARデータのレンジ画像ベースの3D検出におけるスケール変動と遮蔽の問題を動機づけて対処する。
• レンジ条件付き拡張( RCD )畳み込みブロックを提案し、受容野をレンジに合わせて動的に調整する。
• 遮蔽と近距離の妨害要因を緩和するためにソフトレンジゲーティングを組み込む。
• より正確な境界ボックス推定のため、RCDブロックを2段階検出ネットワーク（RCD-RPNと3D RCNN）に組み込む。
• Waymo Open Dataset上のレンジ画像ベースの3D検出における新しいベースラインを確立する。

提案手法

• 学習可能なスパースサンプリングパターンGを均一グリッド上で初期化して使用するRCDブロックを定義する。
• レンジ条件付きサンプリングSを sigma(R, lambda) * G + P によって計算する。sigaは sigma(r, lambda) = arctan(lambda / r)。
• 各ピクセルあたりN個のサンプル位置で双線形サンプリングを用いて局所特徴を取得し、点ごとの畳み込みを通して出力を生成する。
• ソフトレンジゲーティングを用いてレンジ近接性に基づく近傍寄与を調整する際、ガウス重み N(€fset, r_i, gamma) を用いる。
• レンジ画像ベースのRPNと2段階目の3D RCNNにRCDブロックを統合し、提案を精錬する。
• RCD-RPNの損失 (fとb) と RCNN の損失 (clsとreg) を結合したジョイント損失でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 測定されたLiDARレンジに条件づけた連続的な膨張率をどのように作り、スケール不変な特徴抽出を実現できるか。
• RQ2 レンジ条件付きサンプリング戦略は、レンジ画像における固定膨張やASPP様のアプローチより検出性能を向上させるか。
• RQ3 レンジ条件付き拡張を使用する2段検出器（RPN＋RCNN）は、1段のベースラインより遮蔽や長距離検出の処理に優れるか。
• RQ4 レンジ画像検出器における近接遮蔽とディストラクタに対する頑健性へのソフトレンジゲーティングの影響はどうか。
• RQ5 提案手法はWaymo Open Datasetでボクセル/BEVおよび他のレンジベース手法と比較してどの程度の性能を示し、特に長距離でどうか。

主な発見

• SRGを伴うRCDは、スケール変動と遮蔽への対応を改善し、LaserNetより単一段RPNの性能を著しく向上させる。
• 完全な2段階RCDフレームワークはWaymo Open Datasetにおけるレンジ画像ベース検出器の中で最先端の結果を達成し、特に長距離で優れている。
• RCDはレンジに結びついた連続的な膨張関数によって受容野を動的に調整し、スケール間でカーネル重みの再利用を可能にする。
• 1Dから2Dへの動的レンジ条件付きサンプリングの拡張は、ボクセルのスパース性がボクセル/ポイントベース手法を損なう長距離検出においてより良い性能を達成する。
• アブレーション実験は、SRG付きのRCDとマルチスケール適用が固定膨張やASPP様アプローチを上回り、特に長距離および高遮蔽状況で優位であることを示す。