[論文レビュー] Deformable PV-RCNN: Improving 3D Object Detection with Learned Deformations

Prarthana Bhattacharyya, Krzysztof Czarnecki|arXiv (Cornell University)|Aug 20, 2020

Advanced Neural Network Applications参考文献 6被引用数 29

ひとこと要約

可変性のあるPV-RCNNは、可学習な可変キーポイントサンプリングとコンテキストゲーティングを導入することで、点群における3次元オブジェクト検出を向上させ、特にスパarsな、ごみくずが多い、または長距離のシーンにおいて判別能の高い特徴に適応的に焦点を当てる。KITTIベンチマークにおいて最先端の性能を達成し、自転車乗りに対して4%、歩行者に対して3.5%の向上を示した。また、長距離でのロバスト性が向上し、高密度キーポイントに依存する必要が減少した。

ABSTRACT

We present Deformable PV-RCNN, a high-performing point-cloud based 3D object detector. Currently, the proposal refinement methods used by the state-of-the-art two-stage detectors cannot adequately accommodate differing object scales, varying point-cloud density, part-deformation and clutter. We present a proposal refinement module inspired by 2D deformable convolution networks that can adaptively gather instance-specific features from locations where informative content exists. We also propose a simple context gating mechanism which allows the keypoints to select relevant context information for the refinement stage. We show state-of-the-art results on the KITTI dataset.

研究の動機と目的

• PV-RCNNにおけるランダムキーポイントサンプリングの限界を是正する。これは、オブジェクトのスケール、点群の密度、シーンのごみくずの程度の変化に適応できない。
• 点群内の顕著で判別能の高い特徴に一致するように、学習可能なキーポイントオフセットを用いて提案の精錬を向上させる。
• 学習された調節重みを用いて動的にコンテキストをゲーティングすることで、精錬中の特徴選択を向上させ、ごみくずを抑えて関連する特徴を強調する。
• 点群の密度が低く、特徴が曖昧な状況、特に長距離検出や小規模オブジェクトに対して優れた性能を達成する。

提案手法

• 局所的特徴差の基づいてより情報量の多い領域にキーポイントが移動できるように、学習可能な重み行列 $ W_{\text{offset}} $ を用いてキーポイントオフセットを学習する、適応的変形モジュールを提案する。
• 2次元可変畳み込みにインspiredされた、再配置モジュール $ v'_{i} = v_{i} + \tanh(W_{\text{align}}[f'_{i}]) $ を用い、キーポイントを顕著な特徴に再配置する。
• コンテキストゲーティング機構を統合し、調節ゲート $ g = \sigma(W_{\text{gate}}f_{i} + b_{\text{gate}}) $ を用いて関連するコンテキスト特徴を選択し、最終特徴は $ f^{g}_{i} = g \odot W_{\text{fc}}f_{i} $ となる。
• PointNet++ベースの特徴抽出パイプラインと組み合わせ、PV-RCNNのマルチスケール特徴集約を維持する。
• KITTIデータセットを用いて最適化と評価を行い、標準的な3次元検出損失を用いてエンドツーエンドでモデルを学習する。
• ノイズや関係のないコンテキストを抑えることで特徴表現を強化する、シンプルだが効果的なコンテキスト統合モジュールを導入する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な可変キーポイントサンプリングは、密度やスケールが変化する点群において3次元オブジェクト検出性能を向上させることができるか？
• RQ2 コンテキストゲーティングによる特徴の適応的精錬は、都市部の交通環境のようなごみくずの多いシーンで誤検出を減らすことができるか？
• RQ3 提案手法は、歩行者や自転車乗りのような小規模または遠距離オブジェクトの検出精度をどの程度向上させるか？
• RQ4 空間的アライメントとコンテキスト選択が向上することで、キーポイント数を減らしても高い性能を維持できるか？
• RQ5 点群がスパースな長距離検出シナリオにおいて、PV-RCNNと比較してモデルの性能はどの程度向上するか？

主な発見

• Deformable PV-RCNNは、KITTIのマイルドベンチマークで、自動車に対して83.30%のAP、自転車乗りに対して73.46%、歩行者に対して58.33%を達成し、PV-RCNNより自転車乗りで4.0%、歩行者で3.5%の向上を示した。
• 30–50mの距離範囲では、自転車乗りのAPがPV-RCNNの35.15%から47.00%に向上し、長距離検出において優れた性能を示した。
• わずか512個のキーポイントでPV-RCNNと同等の性能を達成した。これは、変形性のおかげで高密度キーポイントの必要性が低下したことを示している。
• アブレーションスタディの結果、変形オフセットとコンテキストゲーティングの両方が性能向上に寄与しており、特に歩行者クラスで最大の向上が見られた。
• 定性的な結果では、Deformable PV-RCNNが以前に見逃された、または方向が正しくないオブジェクト（例：自転車乗りや歩行者）を検出でき、また、誤って自転車乗りと誤認される座っている人物のようなごみくずを抑制していることが確認された。