[論文レビュー] Sparse Steerable Convolutions: An Efficient Learning of SE(3)-Equivariant Features for Estimation and Tracking of Object Poses in 3D Space

Jiehong Lin, Hongyang Li+3 more|arXiv (Cornell University)|Nov 14, 2021

Human Pose and Action Recognition被引用数 11

ひとこと要約

本稿では、スパースな点群を用いた3次元オブジェクトの姿勢推定およびトラッキングのための計算効率が良く、SE(3)-等長性を保つ深層学習手法、Sparse Steerable Convolutions (SS-Conv) を提案する。球面調和関数に基づくカーネルパラメータライゼーションとスパーステンソル演算を活用することで、SS-ConvはSE(3)-等長性を維持しながら推論を高速化し、インスタンスレベル、カテゴリーレベル、トラッキングのベンチマークにおいて、特に高精度指標で顕著な向上を達成し、最先端の性能を実現した。

ABSTRACT

As a basic component of SE(3)-equivariant deep feature learning, steerable convolution has recently demonstrated its advantages for 3D semantic analysis. The advantages are, however, brought by expensive computations on dense, volumetric data, which prevent its practical use for efficient processing of 3D data that are inherently sparse. In this paper, we propose a novel design of Sparse Steerable Convolution (SS-Conv) to address the shortcoming; SS-Conv greatly accelerates steerable convolution with sparse tensors, while strictly preserving the property of SE(3)-equivariance. Based on SS-Conv, we propose a general pipeline for precise estimation of object poses, wherein a key design is a Feature-Steering module that takes the full advantage of SE(3)-equivariance and is able to conduct an efficient pose refinement. To verify our designs, we conduct thorough experiments on three tasks of 3D object semantic analysis, including instance-level 6D pose estimation, category-level 6D pose and size estimation, and category-level 6D pose tracking. Our proposed pipeline based on SS-Conv outperforms existing methods on almost all the metrics evaluated by the three tasks. Ablation studies also show the superiority of our SS-Conv over alternative convolutions in terms of both accuracy and efficiency. Our code is released publicly at https://github.com/Gorilla-Lab-SCUT/SS-Conv.

研究の動機と目的

• スパースな3次元データ（点群など）における既存のSE(3)-等長性ネットワークの計算非効率性を解消すること。
• 幾何的不変性を損なわず、スパーステンソル上で効率的かつ正確なSE(3)-等長性特徴学習を可能にすること。
• SE(3)-等長性特徴を用いた6次元オブジェクト姿勢推定およびトラッキングの汎用的パイプラインの開発。
• 提案手法の優位性を、高精度な姿勢推定領域で実証すること。
• 学習された特徴の可変性を活用する新しいFeature-Steeringモジュールを介して、反復的姿勢修正を可能にすること。

提案手法

• 球面調和関数の基本基底カーネルを線形結合することでSE(3)-等長性を維持するSparse Steerable Convolutions (SS-Conv) の設計。
• GPU上で行列同士の乗加算演算を用いてSS-Convを実装し、活性なスパーステンソル位置に限定することで効率を向上。
• 2段階パイプラインの構築：第1段階で6次元姿勢を予測し、第2段階でFeature-Steeringモジュールを用いて反復的修正を実行。
• Feature-Steeringモジュールを用いて特徴空間で直接SE(3)変換を実行し、効率的かつ正確な姿勢修正を実現。
• SE(3)-等長性特徴から6次元オブジェクト姿勢（回転と並進）を回帰可能な学習可能ヘッドを用いて、エンドツーエンドでネットワークを訓練。
• 空のボクセルに対する密行列計算を回避するため、スパーステンソル演算を活用し、FLOPsを著しく削減しながら幾何的不変性を保持。

実験結果

リサーチクエスチョン

• RQ1 幾何的不変性を損なわず、SE(3)-等長性畳み込みをスパースな3次元点群に効率的に適用できるか？
• RQ2 提案された可変性畳み込みのスパース実装は、精度と推論速度の両面で密なベースラインを上回るか？
• RQ3 SE(3)-等長性特徴の可変性は、2段階パイプラインにおける効果的な反復的姿勢修正を可能にするか？
• RQ4 本手法は、インスタンスレベル、カテゴリーレベル、およびトラッキングの6次元姿勢推定における困難なベンチマークでどのように性能を発揮するか？
• RQ5 Feature-Steeringモジュールは、特に高精度領域において最終的な姿勢精度にどの程度寄与しているか？

主な発見

• LineMODデータセットでは、提案された2段階パイプラインが、平均ADD(S) 99.2%という新たな最先端水準を達成し、先行手法を上回った。
• REAL275ではカテゴリーレベルの6次元姿勢およびサイズ推定において、5°5cm指標を35.9%から43.4%に向上させ、強力な高精度性能を示した。
• カテゴリーレベルの6次元姿勢トラッキングでは、5°5cm指標で54.5%、IoU 25で98.8%を達成し、6-PACKベースラインをすべての指標で上回った。
• アブレーションスタディにより、Feature-Steeringモジュールを用いた第2段階の修正が、特に高精度領域で顕著に精度を向上させることを確認した。
• SS-Convモジュールは、密な可変性畳み込みと比較して計算コストを低減しながらも、SE(3)-等長性を維持しており、スパース3次元データへの実用的導入を可能にした。
• 本手法は、インスタンスレベル、カテゴリーレベル、トラッキングベンチマークにわたり、多様な3次元タスクにわたって良好な一般化性能を示し、一貫した優位性を示した。