[論文レビュー] PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation

Danfei Xu, Dragomir Anguelov+1 more|arXiv (Cornell University)|Nov 29, 2017

3D Surveying and Cultural Heritage参考文献 32被引用数 55

ひとこと要約

PointFusion は画像と生の3Dポイントクラウドデータを異種ネットワーク（PointNet + CNN）と密集融合予測器と組み合わせて3D境界ボックスを推定し、データセット固有のチューニングを行うことなく KITTI と SUN-RGBD の両方で競合的な結果を達成します。

ABSTRACT

We present PointFusion, a generic 3D object detection method that leverages both image and 3D point cloud information. Unlike existing methods that either use multi-stage pipelines or hold sensor and dataset-specific assumptions, PointFusion is conceptually simple and application-agnostic. The image data and the raw point cloud data are independently processed by a CNN and a PointNet architecture, respectively. The resulting outputs are then combined by a novel fusion network, which predicts multiple 3D box hypotheses and their confidences, using the input 3D points as spatial anchors. We evaluate PointFusion on two distinctive datasets: the KITTI dataset that features driving scenes captured with a lidar-camera setup, and the SUN-RGBD dataset that captures indoor environments with RGB-D cameras. Our model is the first one that is able to perform better or on-par with the state-of-the-art on these diverse datasets without any dataset-specific model tuning.

研究の動機と目的

• 多様なセンサーと環境でデータセット特有の調整を必要とせず機能する汎用的な3D物体検出アプローチを動機づける。
• 画像特徴と生の点群データを異種ネットワークで融合するアーキテクチャを提案する。
• 空間アンカーを用いた密集融合機構を導入し、3Dボックスのコーナーを予測し最良の仮説を選択する。

提案手法

• 画像の切り抜きをCNNで処理し外観/幾何特徴を抽出する。
• 生の3D点群をPointNet系で処理し点ごとおよび全体的な特徴を得る。
• 融合ネットワークを介して画像特徴と点特徴を融合し3D境界ボックスを予測する。
• 二つの融合バリエーションを使用する：八つのコーナーのグローバル回帰と、入力3D点に対してコーナーオフセットを予測する密集融合。
• 各入力点が学習済みのスコアを伴うコーナーオフセット予測を生み出す密集空間アンカー手法を適用し、最良の予測を選択する。
• 回帰損失をコーナー位置に対して適用し空間変換正則化を併用する訓練；点の選択には教師あり・教師なしのスコアリングを探索する。

実験結果

リサーチクエスチョン

• RQ1 汎用のセンサに依存しない融合モデルは outdoor（KITTI）と indoor（SUN-RGBD）データセットで競合的な3D物体検出を達成できるか。
• RQ2 空間アンカーを用いた密集融合アーキテクチャは従来のグローバルコーナー回帰より3Dボックス推定で優れているか。
• RQ3 画像データと生の点群を融合することは、車両・歩行者・自転車などの多様な物体カテゴリに対して、どちらのモダリティ単独を用いる場合よりも効果的か。
• RQ4 最良の密集予測を選択する際の教師ありスコアリングと教師なしスコアリングの影響はどうか。

主な発見

手法	入力	易しい	中程度	難しい	注記
3DOP	Stereo	12.63	9.49	7.59	KITTI baseline (comparison)
VeloFCN	3D	15.20	13.66	15.98	LiDAR-focused baseline
MV3D	3D + rgb	71.29	62.68	56.56	state-of-the-art (KITTI)
rgb-d	3D + rgb	7.43	6.13	4.39	RGB-D baseline
Ours-global-no-im	3D	28.83	21.59	17.33	global regression without image input
Ours-global	3D + rgb	43.29	37.66	32.23	global regression with image input
Ours-dense-no-im	3D	62.13	42.31	34.41	dense with point anchors, no image
Ours-dense	3D + rgb	71.53	59.46	49.41	dense with image, anchors, final
Ours-final	3D + rgb	74.71	61.24	50.55	final dense model with unsupervised score
Ours-final (all-class)	3D + rgb	77.92	63.00	53.27	all KITTI classes

• 密集融合と画像+点入力を採用した PointFusion は、KITTI と SUN-RGBD の複数クラスで LiDAR 単独のベースラインを一貫して上回る。
• 空間アンカー（点をアンカーとする密集融合）は、コーナー回帰直接法より3Dボックス回帰を大幅に改善する。
• 最良の仮説を選択する際の教師なしスコアリングは、いくつかの設定で教師ありスコアリングより良い結果を示すことが多い。
• 本手法は KITTI（車両・歩行者・自転車）と SUN-RGBD の10–19カテゴリで競争力のある AP3D を達成し、 state-of-the-art より優れているか同等で、計算効率も高い。
• RGB データと LiDAR 相当の点群を融合すると、深度点がまばらな小型物体（歩行者・自転車）で最も大きな利益を生む。