[논문 리뷰] CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations

Davis Rempe, Tolga Birdal외 4명|arXiv (Cornell University)|2020. 08. 06.

3D Shape Modeling and Analysis참고 문헌 81인용 수 36

한 줄 요약

CaSPR은 Temporal-NOCS 정규화, 동역학을 위한 Latent ODE, 그리고 연속 생성이를 위한 Continuous Normalizing Flow를 사용하여 동적 3D 포인트 클라우드를 객체 중심의 표준 시공간 표현으로 학습하고, 불규칙한 데이터에서 재구성, 자세 추정 및 시공간 대응을 가능하게 한다.

ABSTRACT

We propose CaSPR, a method to learn object-centric Canonical Spatiotemporal Point Cloud Representations of dynamically moving or evolving objects. Our goal is to enable information aggregation over time and the interrogation of object state at any spatiotemporal neighborhood in the past, observed or not. Different from previous work, CaSPR learns representations that support spacetime continuity, are robust to variable and irregularly spacetime-sampled point clouds, and generalize to unseen object instances. Our approach divides the problem into two subtasks. First, we explicitly encode time by mapping an input point cloud sequence to a spatiotemporally-canonicalized object space. We then leverage this canonicalization to learn a spatiotemporal latent representation using neural ordinary differential equations and a generative model of dynamically evolving shapes using continuous normalizing flows. We demonstrate the effectiveness of our method on several applications including shape reconstruction, camera pose estimation, continuous spatiotemporal sequence reconstruction, and correspondence estimation from irregularly or intermittently sampled observations.

연구 동기 및 목표

• 3D 물체 형상의 시공간 변화를 집계하는 객체 중심 표현을 개발한다.
• 입력 동적 포인트 클라우드를 단일 지속 시간의 시공간 공간(T-NOCS)으로 정규화한다.
• 표면 재구성을 위해 Latent ODE와 생성 CNF를 사용하여 연속적 ST 잠재 표현을 학습한다.
• 부분 관찰로부터 임의의 시공간 해상도에서 재구성 및 질의를 가능하게 한다.
• 형상 재구성, 카메라 자세 추정 및 ST 대응에서의 응용을 시연한다.

제안 방법

• 4D ST 포인트 클라우드를 injective cα(·) 매핑을 통해 단일 지속 시간의 Temporal-NOCS(T-NOCS)로 정규화한다.
• 축약된 잠재 공간에서 dynamics를 모델링하기 위해 Latent ODE dz/dt = fθ(zt)와 함께 분할 잠재 표현 zC = [zC ST, zC dyn]를 사용한다.
• 원하는 타임스탬프에서 가우시안 노이즈를 객체 표면으로 매핑하기 위한 Continuous Normalizing Flow gβ(·|z)를 사용하여 연속 ST 생성을 가능하게 한다.
• 정규화 및 동역학을 뒷받침하기 위해 CNF 기반의 로그 가능도 손실과 T-NOCS 회귀에 대한 L1 손실을 함께 사용하여 훈련한다.
• 임의의 정규화 타임스탬프에 대해 Latent ODE를 시간적으로 앞으로 풀이하고, 잠재 상태에 조건화된 CNF를 통해 표면을 생성하는 추론.

실험 결과

연구 질문

• RQ1 동적 4D 포인트 클라우드 시퀀스는 외적 포즈 및 타이밍 변동을 제거하기 위해 정규화될 수 있는가?
• RQ2 정규화된 ST 공간에서의 Latent ODE가 시간에 걸친 객체의 동역학을 효과적으로 모델링할 수 있는가?
• RQ3 CNF 기반 생성 모델이 부분 관찰에서 연속적 시공간 표면을 재구성할 수 있는가?
• RQ4 학습된 ST 표현이 불규칙 샘플링에서 정확한 형상 재구성, 자세 추정 및 ST 대응을 지원하는가?
• RQ5 CaSPR은 경직(강체) 동역학과 비강체(변형 가능) 동역학을 어떻게 처리하고 시공간 프레임을 보간하거나 관찰되지 않은 프레임을 다루는가?

주요 결과

• CaSPR은 Cars, Chairs, Airplanes에 대한 공간적 및 시간적 정렬에서 여러 베이스라인보다 우수한 정확한 T-NOCS 정규화를 달성한다.
• CaSPR은 연속 시공간 재구성을 제공하고 PointFlow와 같은 보간 기반 베이스라인보다 시간적 연속성을 더 잘 유지한다.
• SLT(정적) 및 동적 잠재 특징은 형태와 운동을 분리하여 시퀀스 간의 설득력 있는 운동 전달을 가능하게 한다.
• CaSPR은 Canonical T-NOCS 포인트를 사용하면서도 특화된 방법(RPM-Net 등)에 비해 경쟁력 있는 6D 자세 추정 정확도를 제공한다.
• 이 방법은 변형 가능한 객체 재구성과 관찰된 프레임과 관찰되지 않은 프레임 간의 대응을 일부 베이스라인보다 시간적으로 더 잘 유지한다.
• CNF 매핑에서 인스턴스 간의 교차 대응이 나타나며, 범주 내 인스턴스 간 레이블 전파 가능성을 시사한다.