[論文レビュー] Deep Sliding Shapes for Amodal 3D Object Detection in RGB-D Images

Shuran Song, Jianxiong Xiao|arXiv (Cornell University)|Nov 7, 2015

Advanced Neural Network Applications被引用数 38

ひとこと要約

本論文は、RGB-D画像におけるアモーダル3次元オブジェクト検出のための3D ConvNetベースのフレームワーク、Deep Sliding Shapesを提案する。3次元領域提案ネットワーク（RPN）を用いてマルチスケールの3次元提案を生成し、2次元・3次元を統合したConvNetで3次元バウンディングボックスを回帰し、オブジェクトを分類する。最先端手法よりも13.8 mAP向上を達成し、元のSliding Shapesと比べて200倍高速に動作する。

ABSTRACT

We focus on the task of amodal 3D object detection in RGB-D images, which aims to produce a 3D bounding box of an object in metric form at its full extent. We introduce Deep Sliding Shapes, a 3D ConvNet formulation that takes a 3D volumetric scene from a RGB-D image as input and outputs 3D object bounding boxes. In our approach, we propose the first 3D Region Proposal Network (RPN) to learn objectness from geometric shapes and the first joint Object Recognition Network (ORN) to extract geometric features in 3D and color features in 2D. In particular, we handle objects of various sizes by training an amodal RPN at two different scales and an ORN to regress 3D bounding boxes. Experiments show that our algorithm outperforms the state-of-the-art by 13.8 in mAP and is 200x faster than the original Sliding Shapes. All source code and pre-trained models will be available at GitHub.

研究の動機と目的

• 遮蔽や断片化がある中で完全な3次元バウンディングボックスを予測するという課題に、RGB-D画像におけるアモーダル3次元オブジェクト検出を対象とする。
• Depth RCNN や Sliding Shapes といった2次元ベースの手法や3次元の手作業特徴抽出手法の限界を克服するため、エンドツーエンドの3次元ディープラーニングを活用する。
• 外部のCADモデルや後処理による3次元適合処理を不要とするために、3次元提案から直接3次元バウンディングボックスを回帰する。
• 深度からの3次元幾何的特徴とRGB画像からの2次元カラーフィーチャーを統合的に学習することで、検出精度と速度を向上させる。

提案手法

• 3次元ボリューム表現のシーンを深度から入力とし、サイズの変動に対応するため2スケールのアモーダル3次元オブジェクト提案を出力する、最初の3次元領域提案ネットワーク（RPN）を提案する。
• 3次元提案を3次元ConvNetで幾何的特徴を処理し、3次元提案から投影された2次元画像パッチを2次元ConvNetでカラーフィーチャーを処理する、共同オブジェクト認識ネットワーク（ORN）を導入する。
• 異なる受容 field を持つマルチスケールRPNを採用し、サイズの異なるオブジェクトに対応する提案を生成することで、検出のロバスト性を向上させる。
• マンハッタンワールド仮定を用いて3次元バウンディングボックスの方向を定義し、幾何的事前知識を導入することで3次元検出タスクを簡素化する。
• 3次元提案から直接エンドツーエンドの3次元バウンディングボックス回帰を実行し、CADモデル適合やICPアライメントの必要性を排除する。
• 3次元ボリューム表現を活用して強力な3次元形状特徴を学習し、2次元カラーフィーチャーと統合することでカテゴリ識別を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3次元ConvNetベースの領域提案ネットワークは、RGB-Dデータを用いたアモーダル3次元オブジェクト検出において、2次元ベースの手法を上回ることができるか？
• RQ2 2次元・3次元特徴の共同学習は、単独の深度またはカラーフィーチャーを用いる場合と比較して、検出精度を向上させるか？
• RQ3 3次元提案からエンドツーエンドの3次元バウンディングボックス回帰を実行することで、後処理による3次元モデル適合の必要性が排除され、速度と精度が向上するか？
• RQ4 マルチスケールの提案生成は、3次元空間における物理的サイズの異なるオブジェクトを効果的に処理できるか？
• RQ5 低周波数の深度信号を伴うにもかかわらず、3次元ディープ表現は、HHAのような2次元表現よりも強力な幾何的特徴を学習できるか？

主な発見

• 提案手法はSUN RGB-Dデータセットで84.7%のmAPを達成し、以前の最先端手法を13.8 mAP上回った。
• モデルは元のSliding Shapesと比べて200倍高速に動作し、1枚のGPUでの前方伝搬でリアルタイム推論を達成した。
• 3次元ボックス回帰は、3次元選択的サーチを用いる場合に4.4ポイント、RPNを用いる場合に4.1ポイントmAPを向上させ、その有効性を示した。
• 2次元・3次元を統合したORNは、色と幾何的手がかりを組み合わせることで検出性能を向上させ、ベッドとテーブルのような形状が似たオブジェクトの区別を可能にした。
• サイズプリーニングの後処理により誤検出が減少し、特定のカテゴリで最大7.8ポイントmAP向上を達成した。これは、妥当でない提案をフィルタリングする上で有効であることを示した。
• 外部学習データ（例：CADモデル）を一切使用せず、強力な3次元ディープ表現の有効性を証明した。外部データに依存する手法を上回る性能を達成した。