[論文レビュー] Frustum ConvNet: Sliding Frustums to Aggregate Local Point-Wise Features for Amodal 3D Object Detection

Zhixin Wang, Kui Jia|arXiv (Cornell University)|Mar 5, 2019

Advanced Neural Network Applications参考文献 30被引用数 162

ひとこと要約

Frustum ConvNet (F-ConvNet) は 2D の領域提案から局所点をグルーピングするスライディング・フラスタムを導入し、それを PointNet でフラスタムレベルの特徴に集約し、完全畳み込みネットワークと融合してエンドツーエンドの向き付き3Dボックス推定を行い、SUN-RGBDとKITTIで最先端の性能を達成する。

ABSTRACT

In this work, we propose a novel method termed \emph{Frustum ConvNet (F-ConvNet)} for amodal 3D object detection from point clouds. Given 2D region proposals in an RGB image, our method first generates a sequence of frustums for each region proposal, and uses the obtained frustums to group local points. F-ConvNet aggregates point-wise features as frustum-level feature vectors, and arrays these feature vectors as a feature map for use of its subsequent component of fully convolutional network (FCN), which spatially fuses frustum-level features and supports an end-to-end and continuous estimation of oriented boxes in the 3D space. We also propose component variants of F-ConvNet, including an FCN variant that extracts multi-resolution frustum features, and a refined use of F-ConvNet over a reduced 3D space. Careful ablation studies verify the efficacy of these component variants. F-ConvNet assumes no prior knowledge of the working 3D environment and is thus dataset-agnostic. We present experiments on both the indoor SUN-RGBD and outdoor KITTI datasets. F-ConvNet outperforms all existing methods on SUN-RGBD, and at the time of submission it outperforms all published works on the KITTI benchmark. Code has been made available at: {\url{https://github.com/zhixinwang/frustum-convnet}.}

研究の動機と目的

• 点群からのアモーダル3D物体検出を導くために2D領域提案を活用する。
• 局所点をグルーピングしフラスタムレベルの特徴を学習するためのスライディング・フラスタムの連続を導入する。
• フラスタムレベルの特徴を完全畳み込みネットワークと融合してエンドツーエンドの3Dボックス推定を行う。
• マルチスケールのフラスタム特徴と洗練戦略を用いてフレームワークを拡張する。
• 室内データセット SUN-RGBD と室外データセット KITTI におけるデータセット非依存の性能を示す。

提案手法

• 2D領域提案ごとにフラスタム軸に沿ってスライドさせ、重複するフラスタムの系列を生成する。
• 相対座標を用いて各フラスタムに PointNet を適用し、フラスタムレベルの特徴ベクトルを得る。
• フラスタム特徴を2D特徴マップに配置し、複数ブロックの FCN でフラスタム間の特徴を統合し3Dボックスを回帰する。
• 複数解像度のフラスタム特徴統合の変種を用いて複数のスケールを捉えることもできる。
• 予測された拡張された3Dボックス内の点に対してネットワークを再実行する最終的な洗練ステップを任意で適用する。
• 焦点損失を用いた分類、回帰（中心とサイズ/角度のオフセット）、およびコーナー損失を含むマルチタスク損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 スライディング・フラスタムはアモーダル3D検出の局所点特徴の集約を改善できるか？
• RQ2 フラスタムレベル特徴の FCN ベースの融合は正確なエンドツーエンドの向き付き3Dボックス推定を可能にするか？
• RQ3 マルチ解像度のフラスタム特徴と洗練された3D空間の利用は検出精度を向上させるか？
• RQ4 F-ConvNetは室内のSUN-RGBDと屋外のKITTIデータセットでどれだけ一般化できるか？

主な発見

• F-ConvNetは SUN-RGBD におけるアモーダル3D物体検出で最先端の性能を達成した。
• KITTI では提出時点で評価タスクにおいて公開済みのすべての研究を上回った。
• アブレーション研究は、フラスタムベースのグルーピング、PointNet ベースのフラスタム特徴、FCN 融合、マルチ解像度変種、 focal loss、そして最終的な洗練の有効性を確認した。
• データセットに依存しない設計により、事前環境知識に依存せずに効果的な検出を実現する。