[論文レビュー] Joint 3D Reconstruction of a Static Scene and Moving Objects

Sergio Caccamo, Esra Ataer-Cansızoğlu+1 more|arXiv (Cornell University)|Feb 13, 2018

Robotics and Sensor-Based Localization参考文献 24被引用数 3

ひとこと要約

本論文は、静的領域と剛体運動を行う物体の両方を、RGB-Dデータを用いて同時に再構築するリアルタイムSLAMシステムを提案する。静的領域と動的領域のそれぞれに独立したマップを維持することで、特徴を静的または動的として分類し、運動パターンに関する事前仮定なしに、リアルタイムで3次元オブジェクトモデルを生成可能である。マルチグループ登録方式を採用し、フルフレームとセグメンテーションベースのRANSAC登録を統合することで、静的構造が優勢であっても、特徴の分類を安定的に行う。

ABSTRACT

We present a technique for simultaneous 3D reconstruction of static regions and rigidly moving objects in a scene. An RGB-D frame is represented as a collection of features, which are points and planes. We classify the features into static and dynamic regions and grow separate maps, static and object maps, for each of them. To robustly classify the features in each frame, we fuse multiple RANSAC-based registration results obtained by registering different groups of the features to different maps, including (1) all the features to the static map, (2) all the features to each object map, and (3) subsets of the features, each forming a segment, to each object map. This multi-group registration approach is designed to overcome the following challenges: scenes can be dominated by static regions, making object tracking more difficult; and moving object might have larger pose variation between frames compared to the static regions. We show qualitative results from indoor scenes with objects in various shapes. The technique enables on-the-fly object model generation to be used for robotic manipulation.

研究の動機と目的

• 動的シーンにおける静的環境と剛体運動を行う物体の同時3次元再構築の課題に対処すること。
• カメラの正確な局所化には物体の運動が、逆に物体の運動を知るにはカメラの位置が不可欠であるという、SLAMにおける「鶏と卵」問題を克服すること。
• 別々のスキャン段階や滑らかな運動を要しない状況でも、シーンマッピング中にリアルタイムで3次元オブジェクトモデルを生成可能にすること。
• 静的構造が優勢であったり、物体の姿勢変動が著しい状況下でも、静的領域と動的領域の特徴分類を安定的に行うこと。
• 連続的および離散的な物体運動パターン（非連続フレームでの出現を含む）を両方サポートすること。

提案手法

• 各RGB-Dフレームを、3次元点群、2次元点群、3次元平面群に分割し、幾何的解析用にセグメントにグループ化する。
• 最初のフレームを用いて静的マップを初期化し、静的マップへのフレーム登録後に高い外れ値比率が観測されたことで動的物体を検出する。
• マルチグループ登録を用いる：全特徴点とさまざまな特徴点サブセット（セグメンテーション）を、静的マップおよび物体マップの両方に登録することで、耐障害性を向上させる。
• 複数のRANSACベースの登録結果を統合し、インライヤーの一貫性に基づいて特徴点を静的領域または動的領域に分類する。
• 静的領域と動的物体のそれぞれに別々で、重複しないマップを維持することで、独立した最適化と長期的な安定追跡を可能にする。
• 両マップに対して非同期的なボンドルーム調整を実行し、スパarsな特徴表現を用いて3次元構造とカメラポーズを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 物体の運動に関する事前知識なしに、静的シーンと剛体運動を行う物体を同時に再構築するSLAMシステムは、どのように実現できるか？
• RQ2 静的構造が優勢である状況下でも、静的領域と動的領域の特徴分類を安定的に行うための幾何的検証戦略は何か？
• RQ3 特別なスキャン段階を要せず、自律的探索中にリアルタイムで3次元オブジェクトモデルを構築することは可能か？
• RQ4 マルチグループ登録は、動的シーンにおける単一登録手法と比較して、どのように耐障害性を向上させるか？
• RQ5 複数の動的物体が同時に1フレームに存在する場合、本システムの限界は何か？また、それらの限界はどのように緩和できるか？

主な発見

• マルチグループ登録アプローチにより、フルフレームとセグメンテーションベースのRANSAC結果を統合することで、特に静的領域が優勢なシーンにおいても特徴分類の正確性が顕著に向上した。
• 本手法は、複数のキーフレームにわたる部分的で遮蔽された観測からも、完全な3次元オブジェクトモデルを再構築できることを図6(D)で示した。
• 静的マップは時間経過とともに安定的に成長するが、物体マップは物体が可視化されている間のみ拡大するため、動的領域の効果的な検出が確認された（図7）。
• 滑らかで連続的な運動を仮定せず、リアルタイムで3次元オブジェクトモデリングを実現可能であり、連続的および離散的な物体の出現を両方サポートする。
• 急激な物体の運動やテクスチャのない物体に対しても対応可能であるが、特徴点が疎な領域では性能が低下する傾向がある。
• 主な制限として、1フレーム内で複数の動的物体を区別できないため、1つの共有オブジェクトマップが生成され、正確な再構築を妨げる可能性がある。