[논문 리뷰] Self-Supervised 3D Scene Flow Estimation Guided by Superpoints

Yaqi Shen, Le Hui외 2명|arXiv (Cornell University)|2023. 05. 04.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 동적 슈퍼포인트를 예측된 플로우에 따라 유도하여 운동 추정 정확도를 향상시키는 반복적 프로세스를 통한 엔드 투 엔드 자기지도 학습 3D 시나리오 플로우 추정 프레임워크인 SPFlowNet을 제안한다. 유연한 클러스터링 메커니즘과 GRU 기반 정렬을 사용하여 플로우 유도 슈퍼포인트 생성과 슈퍼포인트 유도 플로우 정렬을 동시에 최적화함으로써, FlyingChairs, KITTI, ScanNet 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, KITTI에서 AR 기준으로 이전 방법 대비 최대 9.92% 향상되었다.

ABSTRACT

3D scene flow estimation aims to estimate point-wise motions between two consecutive frames of point clouds. Superpoints, i.e., points with similar geometric features, are usually employed to capture similar motions of local regions in 3D scenes for scene flow estimation. However, in existing methods, superpoints are generated with the offline clustering methods, which cannot characterize local regions with similar motions for complex 3D scenes well, leading to inaccurate scene flow estimation. To this end, we propose an iterative end-to-end superpoint based scene flow estimation framework, where the superpoints can be dynamically updated to guide the point-level flow prediction. Specifically, our framework consists of a flow guided superpoint generation module and a superpoint guided flow refinement module. In our superpoint generation module, we utilize the bidirectional flow information at the previous iteration to obtain the matching points of points and superpoint centers for soft point-to-superpoint association construction, in which the superpoints are generated for pairwise point clouds. With the generated superpoints, we first reconstruct the flow for each point by adaptively aggregating the superpoint-level flow, and then encode the consistency between the reconstructed flow of pairwise point clouds. Finally, we feed the consistency encoding along with the reconstructed flow into GRU to refine point-level flow. Extensive experiments on several different datasets show that our method can achieve promising performance.

연구 동기 및 목표

• 기존 3D 시나리오 플로우 방법에서 고정된 오프라인 슈퍼포인트의 한계를 해결하기 위해, 강성 클러스터링으로 인해 운동이 다름에도 불구하고 점들을 함께 묶는 문제를 해결한다.
• 복잡한 3D 시나리오에서 실제 운동 패턴을 반영하는 유동적, 플로우 적응형 슈퍼포인트를 학습함으로써 시나리오 플로우 추정 정확도를 향상시킨다.
• 슈퍼포인트 생성과 플로우 정렬을 하나의 엔드 투 엔드 자기지도 학습 프레임워크로 통합하여 공동 최적화를 실현한다.
• 정확하지 않은 슈퍼포인트에서 오는 오류 전파를 줄이기 위해, 플로우 예측 연관성을 사용하여 온라인 슈퍼포인트 업데이트를 유도한다.
• 지상 진동 플로우 감독 없이도 합성 및 실세계 LiDAR 데이터셋에서 최신 기술 수준의 성능을 입증한다.

제안 방법

• 프레임워크는 좌표, 플로우, 특징를 포함한 슈퍼포인트 중심을 최초로 먼지점 샘플링(Farthest Point Sampling, FPS)을 통해 초기화한다.
• 플로우 유도 슈퍼포인트 생성 모듈은 이전 반복에서의 양방향 플로우 예측을 사용하여 소프트 점-슈퍼포인트 연관성을 구성한다.
• 학습된 연관성 맵를 통해 관련 점들의 특징, 좌표, 플로우 값을 적응적으로 집계하여 슈퍼포인트 중심을 업데이트한다.
• 동일한 연관성 맵를 사용하여 슈퍼포인트 수준의 플로우를 집계함으로써 점 수준의 플로우를 재구성한다.
• 일致성 인코딩 레이어는 소스 및 타겟 점군의 재구성된 플로우 간의 정렬을 측정하여 운동 일관성을 강제한다.
• GRU 기반 정렬 모듈은 재구성된 플로우와 일치성 인코딩을 융합하여 최종 점 수준의 플로우 예측을 정밀하게 개선한다.

실험 결과

연구 질문

• RQ1 고정된 오프라인 클러스터링 대비 온라인 플로우 유도 슈퍼포인트 생성이 3D 시나리오 플로우 추정 정확도 향상에 기여하는가?
• RQ2 동적 슈퍼포인트를 엔드 투 엔드 학습 프레임워크에 통합할 경우 실세계 및 합성 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ3 슈퍼포인트 일치성 인코딩 및 일치성 손실이 플로우 정렬 품질에 미치는 영향은 무엇인가?
• RQ4 슈퍼포인트 수(L), 근접 중심 수(K), 반복 수(T)와 같은 하이퍼파라미터가 모델 성능에 미치는 영향은 어떠한가?
• RQ5 지상 진동 플로우 감독 없이도 자기지도 학습 프레임워크가 KITTI와 FlyingChairs에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• SPFlowNet은 KITTI-t 데이터셋에서 평균 재현율(AR) 79.65%를 기록하여 이전 방법 대비 최대 9.92% 향상된 성능을 달성했다.
• KITTI-r에서 엔드 투 엔드 자기지도 학습 EPE 0.089를 기록하여 지상 진동 감독 없이도 강력한 일반화 성능을 입증했다.
• 제거 실험 결과, 슈퍼포인트 생성 또는 일치성 인코딩을 제거할 경우 성능 저하가 심각하게 발생하였으며, AR이 각각 6.8%, 6.3% 감소하였다.
• 최적의 설정은 L=30개 슈퍼포인트, K=2개의 가장 가까운 중심, T=3회의 반복으로 정확도와 추론 효율성 간 균형을 잘 맞춘다.
• 지상 진동 슈퍼포인트가 없을 경우 플로우 유도 슈퍼포인트 생성 모듈이 SPNet 기반 생성 방식보다 우수한 성능을 보이며, 플로우 유도가 필수적임을 입증했다.
• 일치성 손실은 필수적이다. 이 손실을 제거할 경우 EPE는 0.008 증가하고 AR은 2.4% 감소하여, 운동 일관성을 강제하는 데서의 역할을 확인했다.