[論文レビュー] Visual-Inertial-Semantic Scene Representation for 3-D Object Detection

Jingming Dong, Xiaohan Fei+1 more|arXiv (Cornell University)|Jun 13, 2016

Robotics and Sensor-Based Localization参考文献 70被引用数 6

ひとこと要約

本論文は、SLAMに基づく幾何的表現とCNNによる尤度推定を組み合わせ、インertialセンサを用いてクラス固有のスケールおよび姿勢の事前分布を活用することで、リアルタイムで因果的3次元オブジェクト検出を実現するシステムを提案する。このシステムにより、恒久的なオブジェクト追跡、隠蔽状態の推論、再検出が可能となり、自律走行やロボット工学などの動的環境における堅牢な3次元シーン理解が実現される。

ABSTRACT

We describe a system to detect objects in three-dimensional space using video and inertial sensors (accelerometer and gyrometer), ubiquitous in modern mobile platforms from phones to drones. Inertials afford the ability to impose class-specific scale priors for objects, and provide a global orientation reference. A minimal sufficient representation, the posterior of semantic (identity) and syntactic (pose) attributes of objects in space, can be decomposed into a geometric term, which can be maintained by a localization-and-mapping filter, and a likelihood function, which can be approximated by a discriminatively-trained convolutional neural network. The resulting system can process the video stream causally in real time, and provides a representation of objects in the scene that is persistent: Confidence in the presence of objects grows with evidence, and objects previously seen are kept in memory even when temporarily occluded, with their return into view automatically predicted to prime re-detection.

研究の動機と目的

• 従来の画像ベースの検出器に見られる限界を克服し、オブジェクトを物理空間における恒久的実体として扱う3次元オブジェクト検出器の設計。
• 遮蔽中でさえも時間経過に伴うオブジェクト存在信頼度の維持と、シーンの幾何構造に基づく再出現予測により、長期間にわたるオブジェクト記憶を実現。
• ドローンやモバイルロボットなど重力方向に一致しない環境において、検出の堅牢性を向上させるために、インエラシャルセンサを用いてグローバルスケールおよび姿勢の事前分布を提供。
• 深層学習ベースの検出と再帰的ベイズ推定を統合し、3次元空間におけるオブジェクト属性の最小十分不変表現を実現。
• 市販部品（事前学習済みCNNおよびEKFベースのSLAMを含む）を用いてリアルタイム性能を達成し、モバイルプラットフォームへのデプロイを可能に。

提案手法

• オブジェクト属性（意味的アイデンティティおよび構文的ポーズ）の事後分布を、最小十分不変統計量としてモデル化し、SLAMで維持される幾何的項と、CNNで計算される尤度項に分解する。
• 拡張カルマンフィルタ（EKF）を用いた再帰的ベイズ更新を実行し、CNNが単一画像からのオブジェクト存在の尤度を評価し、フィルタが状態を時間経過に伴って伝搬する。
• インエラシャル測定値を用いて、クラス固有のスケール事前分布を課し、3次元オブジェクト検出における曖昧性を低減する。
• オブジェクトの可視性および隠蔽状態は、3次元オブジェクト状態を現在の画像平面に投影し、尤度スコアを評価することで予測する。遮蔽されたオブジェクトは非活性とされるが、記憶されたまま保持される。
• 複数のオブジェクト仮説を処理するためMixture-of-Kalman Filtersを用い、以前に保存されたオブジェクト状態と新しい証拠を照合することで再検出を可能にする。
• オブジェクトが検出されると、推定された3次元ポーズに合わせてCADモデルをレンダリングし、ナビゲーションおよびシーン理解を支援する恒久的な3次元表現を提供する。

実験結果

リサーチクエスチョン

• RQ1 蓄積された証拠とシーンの幾何構造に基づき、遮蔽中でさえもオブジェクトの恒久的認識を維持できる3次元オブジェクト検出器はどのように設計できるか？
• RQ2 インエラシャルセンサは、重力方向に一致しない環境において、スケールおよび姿勢の事前分布を提供することで、3次元オブジェクト検出をどのように改善できるか？
• RQ3 深層学習ベースの検出と再帰的ベイズ推定の統合により、長期間記憶と可視性予測を備えたリアルタイムで因果的な3次元オブジェクト検出が可能になるか？
• RQ4 3次元空間におけるオブジェクト属性の最小十分不変表現は、どのように定義され、維持されるか？
• RQ5 簡易な3次元形状モデル（例：ボクセルボックス）は、複雑なシーンにおける可視性予測および再検出をどの程度サポートできるか？

主な発見

• 市販部品（事前学習済みCNNおよびEKFベースのSLAMを含む）を用いて、10～30フレーム/秒のリアルタイム性能を達成し、モバイルプラットフォームへのデプロイが可能である。
• オブジェクトは遮蔽中でも恒久的に追跡される：証拠が蓄積されるにつれて信頼度が上昇し、再出現時に自動的に再検出が準備される。KITTI-00シーケンスで実証済み。
• インエラシャルセンサによりクラス固有のスケール事前分布が提供され、ボトムアップの提案から生じる誤検出が低減され、重力方向に一致しないシナリオでの検出精度が向上。
• 遮蔽後のオブジェクト再出現を効果的に予測する：室内シーケンスでは机がモニタの後ろから再出現し、大規模な走行シーケンスでは壁の向こうを走る車両が壁を越えても追跡継続。
• 可視性予測は効果的である：現在可視でないオブジェクトは破線ボックスで表示され、尤度スコアは無視される。これにより、システムが隠蔽状態を正しく推論できていることが確認された。
• CNNベースの検出と再帰的ベイズフィルタリングの統合により、フレームごとのちらつきを回避し、長期間にわたるシーン理解を可能にする恒久的かつ記憶拡張型のオブジェクト表現が実現された。