[論文レビュー] 3D-SSD: Learning Hierarchical Features from RGB-D Images for Amodal 3D Object Detection

Qianhui Luo, Huifang Ma+3 more|arXiv (Cornell University)|Nov 1, 2017

Advanced Neural Network Applications参考文献 28被引用数 14

ひとこと要約

本稿では、RGB-D画像を用いた屋内シーンにおけるアモーダル3Dオブジェクト検出のためのエンドツーエンドディープラーニングフレームワーク、3D-SSDを提案する。RGBストリームと深度ストリームからの階層的外観および幾何特徴を統合し、深度ガイド付き3Dポーズ推定を伴うマルチスケール3Dアンカーボックスを採用。2Dの真値を用いて正例サンプルのマッチングを強化することで、Deep Sliding Shapeに比べ10.2%高いmAPと88倍高速な推論を達成した。SUN RGB-Dで評価。

ABSTRACT

This paper aims at developing a faster and a more accurate solution to the amodal 3D object detection problem for indoor scenes. It is achieved through a novel neural network that takes a pair of RGB-D images as the input and delivers oriented 3D bounding boxes as the output. The network, named 3D-SSD, composed of two parts: hierarchical feature fusion and multi-layer prediction. The hierarchical feature fusion combines appearance and geometric features from RGB-D images while the multi-layer prediction utilizes multi-scale features for object detection. As a result, the network can exploit 2.5D representations in a synergetic way to improve the accuracy and efficiency. The issue of object sizes is addressed by attaching a set of 3D anchor boxes with varying sizes to every location of the prediction layers. At the end stage, the category scores for 3D anchor boxes are generated with adjusted positions, sizes and orientations respectively, leading to the final detections using non-maximum suppression. In the training phase, the positive samples are identified with the aid of 2D ground truth to avoid the noisy estimation of depth from raw data, which guide to a better converged model. Experiments performed on the challenging SUN RGB-D dataset show that our algorithm outperforms the state-of-the-art Deep Sliding Shape by 10.2% mAP and 88x faster. Further, experiments also suggest our approach achieves comparable accuracy and is 386x faster than the state-of-art method on the NYUv2 dataset even with a smaller input image size.

研究の動機と目的

• リアルタイム応用を想定した、既存の3Dオブジェクト検出器の速度とエンドツーエンド学習の制限を解消すること。
• RGBと深度情報の相補的特徴を活用することで、アモーダル3Dオブジェクト検出の精度を向上させること。
• 非微分可能な提案生成を回避し、検出と局所化の共同最適化を可能にする統合的でエンドツーエンドのフレームワークを構築すること。
• 疎でノイジーな3Dポイントクラウドの課題を、RGB-D画像から導出される2.5D表現を用いることで克服すること。
• 最小限の入力サイズと計算コストで高い性能を達成し、リアルタイムデプロイメントに適した仕組みを実現すること。

提案手法

• ネットワークは、外観（RGB）と幾何（深度）特徴を別々に抽出する2ストリームバックボーンを採用し、複数段階で階層的特徴統合を実施する。
• RGBネットワークと深度ネットワークの対応する層からの特徴を連結することで、マルチレベルでマルチモodalな表現を構築する。
• 事前に定義されたサイズを持つマルチスケール3Dアンカーボックスを、統合された特徴マップの各空間位置に配置し、深度画像から3D位置を導出する。
• 1x1および3x3畳み込み層の系列により、アンカーに対する3Dバウンディングボックスの位置、サイズ、方向のオフセットを回帰する。
• 各アンカーごとにカテゴリスコアを予測し、最終的な検出を生成するために非最大抑制（NMS）を適用する。
• 学習段階では、2D真値ボックスを用いて正の3Dアンカーボックスを特定することで、モデルのロバストネスと収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 RGBと深度特徴の階層的統合は、アモーダル3Dオブジェクト検出の精度向上に寄与するか？
• RQ2 2D真値を用いて3D正例サンプルのアサインメントをガイドすることで、モデルのロバストネスと収束性が向上するか？
• RQ3 マルチスケール3Dアンカーボックスを備えた3D版SSDは、同時に高い精度と速度を達成できるか？
• RQ4 3Dポイントクラウドや2D単独手法と比較して、2.5D表現の使用は性能と効率の面で優位性を示すか？
• RQ5 精度とモデル複雑度のバランスを最適化するには、どの段階の階層的特徴統合が適切か？

主な発見

• 3D-SSDは、完全な階層的統合を用いた場合、SUN RGB-Dテストセットで36.0%のmAPを達成し、1段階の統合のみを用いたベースラインに比べ9.5%高いmAPを記録した。
• SUN RGB-Dデータセットにおいて、最先端のDeep Sliding Shapeに比べ10.2%高いmAPを達成した一方で、88倍高速な推論を実現した。
• NYUv2データセットでは、入力サイズが小さいにもかかわらず、最先端手法と同等の精度を達成したが、推論速度は386倍高速であった。
• RGBに深度またはHHA特徴を統合することで検出性能が向上し、特にテクスチャが乏しいオブジェクト（浴槽、ベッドなど）で顕著な改善が見られた。
• 2段階の階層的特徴統合戦略が最適な精度を達成しており、さらに深い統合には利点がなかった（性能の飽和状態に達していた）。
• 正例サンプルのマッチングに2D真値を用いることで、深度情報のみに依存する推定に比べ、収束性とロバストネスが向上した。