[論文レビュー] CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations

Davis Rempe, Tolga Birdal+4 more|arXiv (Cornell University)|Aug 6, 2020

3D Shape Modeling and Analysis参考文献 81被引用数 36

ひとこと要約

CaSPR は Temporal-NOCS canonicalization、Latent ODE for dynamics、そして Continuous Normalizing Flow を用いた連続生成を通じて、再構成、姿勢推定、 irregular data からの時空対応を可能にする動的な 3D 点群のオブジェクト中心カノニカル時空表現を学習します。

ABSTRACT

We propose CaSPR, a method to learn object-centric Canonical Spatiotemporal Point Cloud Representations of dynamically moving or evolving objects. Our goal is to enable information aggregation over time and the interrogation of object state at any spatiotemporal neighborhood in the past, observed or not. Different from previous work, CaSPR learns representations that support spacetime continuity, are robust to variable and irregularly spacetime-sampled point clouds, and generalize to unseen object instances. Our approach divides the problem into two subtasks. First, we explicitly encode time by mapping an input point cloud sequence to a spatiotemporally-canonicalized object space. We then leverage this canonicalization to learn a spatiotemporal latent representation using neural ordinary differential equations and a generative model of dynamically evolving shapes using continuous normalizing flows. We demonstrate the effectiveness of our method on several applications including shape reconstruction, camera pose estimation, continuous spatiotemporal sequence reconstruction, and correspondence estimation from irregularly or intermittently sampled observations.

研究の動機と目的

• 3D オブジェクト形状の時空変化を集約するオブジェクト中心表現を開発する。
• 入力の動的点群を単位長さの時空空間（T-NOCS）へ正準化する。
• Latent ODE と生成 CNF を用いて連続 ST 潜在表現を学習し、表面再構成を行う。
• 部分観測から任意の時空分解能での再構成とクエリを可能にする。
• 形状再構成、カメラ姿勢推定、ST対応付けの応用を実証する。

提案手法

• 4D ST 点群を単位長さの Temporal-NOCS (T-NOCS) へ同型化するための injective cα(·) マッピングによる正準化。
• 分割潜在表現 zC = [zC ST, zC dyn] を用い、dz/dt = fθ(zt) の Latent ODE でコンパクトな潜在空間におけるダイナミクスをモデル化する。
• Gaussian ノイズを所望のタイムスタンプのオブジェクト表面へ写す Continuous Normalizing Flow gβ(·|z) を用いて、連続的な ST 生成を実現する。
• Canonicalization と dynamics を grounding する CNF ベースの対数尤度損失と T-NOCS 回帰の L1 損失を組み合わせて学習する。
• 推論では Latent ODE を任意の canonical timestamp へ前方解き、潜在状態を条件とした CNF によって表面を生成する。

実験結果

リサーチクエスチョン

• RQ1 動的な 4D 点群列を Extrinsic pose と timing variations を除去する形で canonically normalization できるか？
• RQ2 canonical ST 空間における Latent ODE は時間を超えるオブジェクトダイナミクスを効果的にモデル化できるか？
• RQ3 CNF ベースの生成モデルは部分観測から連続的な時空表面を再構成できるか？
• RQ4 学習された ST 表現は irregular sampling の下で正確な形状再構成、姿勢推定、ST 対応を支援できるか？
• RQ5 CaSPR は rigid と non-rigid (deformable) オブジェクトのダイナミクスをどう扱い、時空フレームを補間/未観測にするか？

主な発見

• CaSPR は Cars、Chairs、Airplanes に対する空間的・時間的整合性で、いくつかのベースラインを上回る正確な T-NOCS 正準化を達成する。
• CaSPR は連続的な時空再構成を提供し、PointFlow などの補間ベースのベースラインよりも時間的一貫性を保つ。
• SLT (static) および dynamic latent features が形状と運動を分離し、シーケンス間で妥当な運動転送を可能にする。
• CaSPR は canonical T-NOCS ポイントを使用しつつ、RPM-Net などの専門手法と競合する 6D 姿勢推定精度を示す。
• 方法は deformable object の再構成をサポートし、観測済み・未観測フレーム間での対応を他のベースラインよりも維持する。
• CNF の写像においてクラス内の他インスタンス間でクロスインスタンス対応が現れ、カテゴリ内のラベル伝播の可能性を示唆する。