[論文レビュー] ROSEFusion: Random Optimization for Online Dense Reconstruction under Fast Camera Motion

Jiazhao Zhang, Chenyang Zhu+2 more|arXiv (Cornell University)|May 12, 2021

Advanced Vision and Imaging参考文献 48被引用数 217

ひとこと要約

ROSEFusionは、慣性データなしで、事前サンプル化されたパーティクル群テンプレートと深度ベースの適合度関数を用いたパーティクルフィルター最適化により、急速なカメラ運動下でリアルタイムの密なRGB-D再構成を追求します。

ABSTRACT

Online reconstruction based on RGB-D sequences has thus far been restrained to relatively slow camera motions (<1m/s). Under very fast camera motion (e.g., 3m/s), the reconstruction can easily crumble even for the state-of-the-art methods. Fast motion brings two challenges to depth fusion: 1) the high nonlinearity of camera pose optimization due to large inter-frame rotations and 2) the lack of reliably trackable features due to motion blur. We propose to tackle the difficulties of fast-motion camera tracking in the absence of inertial measurements using random optimization, in particular, the Particle Filter Optimization (PFO). To surmount the computation-intensive particle sampling and update in standard PFO, we propose to accelerate the randomized search via updating a particle swarm template (PST). PST is a set of particles pre-sampled uniformly within the unit sphere in the 6D space of camera pose. Through moving and rescaling the pre-sampled PST guided by swarm intelligence, our method is able to drive tens of thousands of particles to locate and cover a good local optimum extremely fast and robustly. The particles, representing candidate poses, are evaluated with a fitness function defined based on depth-model conformance. Therefore, our method, being depth-only and correspondence-free, mitigates the motion blur impediment as ToF-based depths are often resilient to motion blur. Thanks to the efficient template-based particle set evolution and the effective fitness function, our method attains good quality pose tracking under fast camera motion (up to 4m/s) in a realtime framerate without including loop closure or global pose optimization. Through extensive evaluations on public datasets of RGB-D sequences, especially on a newly proposed benchmark of fast camera motion, we demonstrate the significant advantage of our method over the state of the arts.

研究の動機と目的

• オンラインの密なRGB-D再構成を、慣性計測なしで高速カメラ運動下で実現する。
• 大きなフレーム間回転と運動ブレを扱える堅牢な深度のみのカメラトラッキング手法を提案する。
• 標準的なパーティクルサンプリングを置換する高速な、テンプレートベースのランダム最適化を導入する。
• 候補ポーズを評価する深度ベースの適合度関数を深度からTSDFへ定義する。
• 新しい高速動作RGB-Dベンチマークを提供し、最先端手法と競争力のある性能を示す。

提案手法

• フレームごとのポーズ最適化を、フレームからモデルへの適合度を用いた深度ベースの適合として定式化する。
• PFO（Particle Filter Optimization）を、事前サンプルされたParticle Swarm Template（PST）を用いてポーズに適用する。
• PSTを、良い局所極値を覆うよう6D楕円体テンプレートを動かし拡大/縮小させて進化させ、候補を深度ベースの適合度関数で評価する。
• 適合度を、非投影深度点上のTSDF値の平方和の負の指数として定義し、対応付けなしの最適化を可能にする。
• 高速動作でフレームの重複が減少する際に、重複検出のない適合を回避するため、重なりを考慮した尤度を使用する。
• PSTの事前サンプリングを6Dポアソンディスクサンプリングで行い、探索を維持するために前回の最良ポーズを中心に各フレームでPSTを初期化する。

実験結果

リサーチクエスチョン

• RQ1 Can online dense RGB-D reconstruction be robust to very fast camera motion without IMU data?
• RQ2 How can random optimization be made fast and reliable for per-frame pose estimation in depth-based fusion?
• RQ3 Does a pre-sampled particle swarm template improve exploration-exploitation balance in pose optimization?
• RQ4 Is depth-based TSDF conformance sufficient for accurate pose tracking under motion blur?
• RQ5 How does the proposed method perform on fast-motion RGB-D benchmarks compared to existing approaches?

主な発見

• Attains good quality pose tracking under fast camera motion up to 4 m/s at real-time 30 Hz without loop closure or global optimization.
• Demonstrates robustness to motion blur by relying on depth information rather than RGB features.
• Outperforms state-of-the-art methods on fast-motion RGB-D benchmarks, including a new fast-motion benchmark (FastCaMo).
• Provides a depth-only online dense reconstruction system based on PST-evolved random search rather than traditional gradient-based optimization.
• Offers a dataset benchmark for fast-camera-motion RGB-D sequences with ground-truth trajectories and reconstructions.