[論文レビュー] Generative Sparse Detection Networks for 3D Single-shot Object Detection

JunYoung Gwak, Christopher Choy+1 more|arXiv (Cornell University)|Jun 22, 2020

Human Pose and Action Recognition被引用数 6

ひとこと要約

本稿では、生成的スパーステンソルデコーダーを用いてスパース特徴のサポートを効率的に拡張し、オブジェクト候補の生成を行うことで、スパースな特徴を活用する完全畳み込み型の1ショット3次元オブジェクト検出フレームワークであるGenerative Sparse Detection Networks (GSDN) を提案する。GSDNは、S3DIS や ScanNet といった大規模な3次元屋内データセットにおいて、7.14%の相対的なmAP向上と3.78倍の高速化を達成し、最先端の性能を発揮するとともに、低メモリ使用量と最大7800万点のシーンへのスケーラビリティを維持している。

ABSTRACT

3D object detection has been widely studied due to its potential applicability to many promising areas such as robotics and augmented reality. Yet, the sparse nature of the 3D data poses unique challenges to this task. Most notably, the observable surface of the 3D point clouds is disjoint from the center of the instance to ground the bounding box prediction on. To this end, we propose Generative Sparse Detection Network (GSDN), a fully-convolutional single-shot sparse detection network that efficiently generates the support for object proposals. The key component of our model is a generative sparse tensor decoder, which uses a series of transposed convolutions and pruning layers to expand the support of sparse tensors while discarding unlikely object centers to maintain minimal runtime and memory footprint. GSDN can process unprecedentedly large-scale inputs with a single fully-convolutional feed-forward pass, thus does not require the heuristic post-processing stage that stitches results from sliding windows as other previous methods have. We validate our approach on three 3D indoor datasets including the large-scale 3D indoor reconstruction dataset where our method outperforms the state-of-the-art methods by a relative improvement of 7.14% while being 3.78 times faster than the best prior work.

研究の動機と目的

• スパース3次元オブジェクト検出における、3次元点群の表面とオブジェクト中心位置との間のサポートの不連続性という課題に対処すること。
• 大規模3次元検出においてスライディングウィンドウによるクロッピングや後処理によるステッチングの必要性を排除し、1回の順伝播処理で全シーン推論を可能にすること。
• 非常に大規模な3次元シーンにスケーリング可能でありながら、ポイント密度や受容 field を損なわない、メモリおよび計算効率の高い手法を開発すること。
• スパース特徴から直接オブジェクト中心を生成することで、細い構造物や小さな構造物の検出精度を向上させること。

提案手法

• 本手法は、スパース畳み込みを用いて3次元点群から深く多スケールの特徴を抽出する階層的スパーステンソルエンコーダを採用する。
• 生成的スパーステンソルデコーダーは、逆畳み込みとプルーニング層を用いて、スパース特徴のサポートを拡張し、潜在的なオブジェクト中心位置をカバーする。
• デコーダーは反復的に候補となるオブジェクト中心を生成しつつ、低尤度領域を除外することで、最小限のメモリおよび実行時間のオーバーヘッドを維持する。
• ネットワークは完全畳み込み型であるため、ウィンドウ分割やステッチングなしに、大規模な全シーンに対してエンドツーエンドの推論が可能である。
• 従来の手法とは異なり、シーン間で一定の入力点群密度を維持するため、特徴品質の一貫性が保証される。
• 拡張されたスパーステンソルから直接オブジェクト候補が予測されるため、後処理を伴わず1ショット検出が可能である。

実験結果

リサーチクエスチョン

• RQ1 スライディングウィンドウによるクロッピングや後処理のステッチングなしに、大規模でスパースな3次元シーンにおいて、完全畳み込み型の3次元オブジェクト検出器が高精度かつ高効率に動作できるか。
• RQ2 入力点群がオブジェクトの表面しかカバーしない状況において、スパーステンソルネットワークが効果的にオブジェクト中心の候補を生成できるか。
• RQ3 単層のスキャンで学習したモデルが、アーキテクチャの変更なしに、複数階の大きな建物に一般化できる程度の性能を示せるか。
• RQ4 非常に大規模な3次元シーンをスパース表現で処理する際、検出精度、推論速度、メモリ使用量の間のトレードオフはどの程度か。
• RQ5 生成的スパースデコーディングは、従来のアンカージェネレーションに比べ、3次元オブジェクト検出ベンチマークにおいて精度と効率の両面で優れているか。

主な発見

• GSDNは、前回の最先端手法と比較して、大規模なS3DISデータセットにおいて7.14%の相対的なmAP@0.5向上を達成した。
• GSDNは、最良の先行研究よりも3.78倍高速であり、ScanNet v2において1シーンあたり0.12秒の推論時間を記録した。
• GSDNは、従来の手法とは異なり、シーン間で一定の点群密度を維持するため、スケールに応じた一貫性のある特徴品質を確保した。
• ネットワークは、7800万点（13,984m³、53室）、3次元S3DIS建物5を1回の順伝播処理で処理し、GPUメモリはわずか5GBで実現した。
• GSDNは、微調整や後処理なしに、3階建てのGibson環境のシーンUvalda（140万点、173m²）に対しても一般化可能であった。
• メモリ使用量は低く保たれ、シーンサイズに対して劣微分的に増加する一方、実行時間はポイント数に線形的に増加し、強力なスケーラビリティを示した。