[논문 리뷰] MultiBodySync: Multi-Body Segmentation and Motion Estimation via 3D Scan Synchronization

Jiahui Huang, He Wang외 5명|arXiv (Cornell University)|2021. 01. 17.

3D Shape Modeling and Analysis참고 문헌 83인용 수 4

한 줄 요약

MultiBodySync는 스펙트럴 동기화를 활용하여 다중 스캔 간 대응 관계와 분할 일관성을 강제함으로써, 순서가 없는 다수의 3D 스캔에서 동시에 다중 신체 운동 분할과 강성 정렬을 수행하는 엔드 투 엔드, 미분 가능한 딥 디클래라티브 네트워크를 제안한다. 이는 합성 및 실세계 데이터셋 모두에서 최신 기술을 압도적으로 뛰어넘는 성능을 기록하며, 새로운 벤치마크(DynLab)에서도 뛰어난 일반화 성능을 보인다.

ABSTRACT

We present MultiBodySync, a novel, end-to-end trainable multi-body motion segmentation and rigid registration framework for multiple input 3D point clouds. The two non-trivial challenges posed by this multi-scan multibody setting that we investigate are: (i) guaranteeing correspondence and segmentation consistency across multiple input point clouds capturing different spatial arrangements of bodies or body parts; and (ii) obtaining robust motion-based rigid body segmentation applicable to novel object categories. We propose an approach to address these issues that incorporates spectral synchronization into an iterative deep declarative network, so as to simultaneously recover consistent correspondences as well as motion segmentation. At the same time, by explicitly disentangling the correspondence and motion segmentation estimation modules, we achieve strong generalizability across different object categories. Our extensive evaluations demonstrate that our method is effective on various datasets ranging from rigid parts in articulated objects to individually moving objects in a 3D scene, be it single-view or full point clouds.

연구 동기 및 목표

• 다양한 공간 배치를 가진 순서가 없는 다수의 3D 스캔 간 일관된 기반 운동 분할 및 강성 정렬 문제를 해결하기 위해.
• 카테고리별 사전 지식 없이도 새로운 물체 카테고리에 대해 강건하고 일반화 가능한 운동 분할을 가능하게 하기 위해.
• 통합적인 미분 가능한 프레임워크를 통해 다수의 스캔 간 일관된 점 대응 관계와 운동 분할 레이블을 동시에 복원하기 위해.
• 기존 방법들이 순차적 데이터나 알려진 의미 정보를 가정하는 데서 비롯되는 한계를 극복하기 위해, 시간적으로 밀도가 낮고 간헐적인 스캔을 다룰 수 있도록 하기 위해.

제안 방법

• 운동 분할과 대응 관계를 동시에 최적화하기 위해 딥 디클래라티브 네트워크 기반의 미분 가능한 아키텍처를 활용한다.
• 스캔 간 이원 대응 관계를 초기화하기 위해 3D 장면 흐름 추정을 사용한다.
• 두 가지 동기화 모듈을 도입한다: 하나는 대응 관계의 가중치가 부여된 순열 동기화를 위한 것이고, 다른 하나는 분할 레이블 동기화를 위한 것이다.
• 모든 스캔 간 대응 관계와 분할의 전역 일관성을 강제하기 위해 스펙트럴 동기화를 적용한다.
• 기하학적 정보와 운동 추정을 명시적으로 분리함으로써, 새로운 물체 카테고리로의 일반화를 가능하게 한다.
• 정확도와 강건성을 향상시키기 위해 다중 동기화 단계를 거치는 반복적 보완 기법을 사용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 순서가 없는 다수의 3D 스캔 간에 일관되게 운동 분할과 강성 정렬을 동시에 추정할 수 있는가?
• RQ2 큰 자세 변화와 부분 시야를 가진 다수의 스캔 간에 대응 관계와 분할 일관성을 어떻게 확보할 수 있는가?
• RQ3 특정 카테고리 사전 지식 없이도, 특히 관절 구조가 있는 물체와 고체 강성 물체에 대해 새로운 카테고리로 일반화할 수 있는가?
• RQ4 스펙트럴 동기화가 다중 스캔 운동 추정의 정확도와 강건성 향상에 미치는 영향은 무엇인가?
• RQ5 비순차적이고 비밀도 스캔 획득 조건, 예를 들어 실세계 환경에서의 상황에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• MultiBodySync는 다양한 데이터셋에서 다중 신체 운동 분할 및 운동 추정 측면에서 최신 기술을 크게 앞서는 성능을 기록한다.
• SAPIEN 데이터셋에서 전체 카테고리에 대해 평균 교차율(mIoU)이 66.7%를 기록하여, 이전 방법들인 PointNet++(47.5%) 및 NPP(48.2%)를 크게 초월한다.
• DynLab 데이터셋에서 95번째 백분위수 EPE3D가 0.066에 도달하여, 큰 자세 변화가 있는 도전적인 조건에서도 강건함을 입증한다.
• 절단 실험 결과 스펙트럴 동기화가 성능 향상에 크게 기여하며, 'S, NW'(정규화를 적용한 스펙트럴 동기화) 버전이 가장 우수한 성능을 기록한다.
• 이 방법은 새로운 카테고리로의 일반화가 효과적으로 이루어지며, 관절 구조 물체와 물체 수준에서의 다중 스캔 다중 신체 운동 분할 분야에서 처음으로 카테고리 간 일반화 성능을 확보한다.
• 시각화 결과는 복잡한 장면에서 다수의 이동 물체와 부분 스캔이 존재하는 상황에서도 강건한 분할과 정렬 성능을 보이며, Waymo Open 및 DynLab 데이터셋의 실세계 데이터를 포함한 결과에서도 유사한 성능을 입증한다.