[論文レビュー] MultiBodySync: Multi-Body Segmentation and Motion Estimation via 3D Scan Synchronization

Jiahui Huang, He Wang+5 more|arXiv (Cornell University)|Jan 17, 2021

3D Shape Modeling and Analysis参考文献 83被引用数 4

ひとこと要約

MultiBodySyncは、スペクトル同期を用いて対応関係とセグメンテーションの一貫性を強制することで、複数の無順序な3Dスキャンにおいて、マルチボディ運動セグメンテーションと剛体登録を一括して行う、微分可能な深層宣言的ネットワークを提案する。合成データおよび実世界のデータセット（新規ベンチマーク「DynLab」含む）において最先端の性能を達成し、未学習の物体カテゴリに対しても優れた一般化性能を示す。

ABSTRACT

We present MultiBodySync, a novel, end-to-end trainable multi-body motion segmentation and rigid registration framework for multiple input 3D point clouds. The two non-trivial challenges posed by this multi-scan multibody setting that we investigate are: (i) guaranteeing correspondence and segmentation consistency across multiple input point clouds capturing different spatial arrangements of bodies or body parts; and (ii) obtaining robust motion-based rigid body segmentation applicable to novel object categories. We propose an approach to address these issues that incorporates spectral synchronization into an iterative deep declarative network, so as to simultaneously recover consistent correspondences as well as motion segmentation. At the same time, by explicitly disentangling the correspondence and motion segmentation estimation modules, we achieve strong generalizability across different object categories. Our extensive evaluations demonstrate that our method is effective on various datasets ranging from rigid parts in articulated objects to individually moving objects in a 3D scene, be it single-view or full point clouds.

研究の動機と目的

• 空間的配置が異なる複数の無順序3Dスキャン間で、一貫性のある運動ベースのセグメンテーションと剛体登録を実現する課題に対処すること。
• カテゴリ固有の事前知識を必要とせず、新たな物体カテゴリに対してもロバストで一般化可能な運動セグメンテーションを可能にすること。
• 統一された微分可能なフレームワークを用いて、複数のスキャン間で一貫性のある点対応関係と運動セグメンテーションラベルを同時に回復すること。
• 従来の手法が逐次的データや既知の意味的意味を仮定しているのに対し、時間的に密でない、間欠的なスキャンを処理できるようにすること。

提案手法

• 対応関係と運動セグメンテーションを同時に最適化する、深層宣言的ネットワークに基づく微分可能アーキテクチャを採用する。
• スキャン間のペアワイズ対応関係を初期化するために、3Dシーンフロー推定を用いる。
• 2つの同期モジュールを導入：対応関係の重み付き置換同期用と、セグメンテーションラベル同期用。
• スペクトル同期を適用して、すべてのスキャンにわたる対応関係とセグメンテーションの一貫性を強制する。
• 幾何学的推定と運動推定を明示的に分離することで、未学習の物体カテゴリへの一般化を可能にする。
• 複数回の同期ステップを繰り返す反復的精錬により、精度とロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、複数の無順序3Dスキャン間で一貫して運動セグメンテーションと剛体登録を推定できるか？
• RQ2 大規模なポーズ変動と部分的視認がある複数スキャン間で、対応関係とセグメンテーションの一貫性をどのように強制できるか？
• RQ3 微調整なしで、特に可動部品を有する物体や剛体としての物体レベルの物体カテゴリに一般化できるか？
• RQ4 スペクトル同期は、マルチスキャン運動推定におけるロバストネスと精度を向上させる上でどのような影響を及えるか？
• RQ5 非順序的で非密度なスキャン取得（例：実世界シナリオ）下でも、本手法はどのように性能を発揮するか？

主な発見

• MultiBodySyncは、多様なデータセットにおいて、マルチボディ運動セグメンテーションおよび運動推定の両面で、SOTA手法を大きく上回る性能を達成した。
• SAPIENデータセットでは、全体カテゴリにおける平均交差率（mIoU）が66.7%に達し、PointNet++（47.5%）やNPP（48.2%）といった先行手法を著しく上回った。
• DynLabデータセットでは、95パーセンタイルのEPE3Dが0.066に達し、大規模なポーズ変動下でもロバストであることを示した。
• アブレーションスタディにより、スペクトル同期が性能向上に顕著な寄与をしていることが確認され、『S, NW』バージョン（正規化付きスペクトル同期）が最良の結果を達成した。
• 本手法は未学習のカテゴリに対しても効果的に一般化でき、可動部品と物体レベルの両領域で、マルチスキャンマルチボディ運動セグメンテーションにおける初のカテゴリ間一般化を実現した。
• 可視化結果から、複数の移動物体と部分的スキャンを含む複雑なシーン、さらにはWaymo OpenおよびDynLabデータセットの実世界データでさえも、ロバストなセグメンテーションと登録が可能であることが示された。