[논문 리뷰] GMSF: Global Matching Scene Flow

Yushan Zhang, Johan Edstedt외 4명|arXiv (Cornell University)|2023. 05. 27.

Advanced Vision and Imaging인용 수 5

한 줄 요약

GMSF는 포인트 클라우드에서 3D 시 scene flow 추정을 위한 단일 스케일, 원샷 전역 매칭 접근법을 제안하며, 하이브리드 국소-전역-크로스 트랜스포머 아키텍처를 활용해 강력한 특징을 추출하고, 매칭에 전적으로 특징 유사도에 의존한다. 이는 FlyingThings3D에서 이상치 비율을 5.6%로 줄이며, KITTI 및 Waymo-Open 벤치마크에서 이전 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We tackle the task of scene flow estimation from point clouds. Given a source and a target point cloud, the objective is to estimate a translation from each point in the source point cloud to the target, resulting in a 3D motion vector field. Previous dominant scene flow estimation methods require complicated coarse-to-fine or recurrent architectures as a multi-stage refinement. In contrast, we propose a significantly simpler single-scale one-shot global matching to address the problem. Our key finding is that reliable feature similarity between point pairs is essential and sufficient to estimate accurate scene flow. We thus propose to decompose the feature extraction step via a hybrid local-global-cross transformer architecture which is crucial to accurate and robust feature representations. Extensive experiments show that the proposed Global Matching Scene Flow (GMSF) sets a new state-of-the-art on multiple scene flow estimation benchmarks. On FlyingThings3D, with the presence of occlusion points, GMSF reduces the outlier percentage from the previous best performance of 27.4% to 5.6%. On KITTI Scene Flow, without any fine-tuning, our proposed method shows state-of-the-art performance. On the Waymo-Open dataset, the proposed method outperforms previous methods by a large margin. The code is available at https://github.com/ZhangYushan3/GMSF.

연구 동기 및 목표

• 기존 시 scene flow 방법에서 다단계 정밀화의 한계를 해결하기 위해, 특히 빠른 움직임과 가림을 효과적으로 다루는 데 초점한다.
• 복잡한 코arse-to-fine 또는 반복 아키텍처를 단일 스케일, 원샷 전역 매칭 프레임워크로 대체하여 시 scene flow 추정을 단순화한다.
• 정확한 시 scene flow 추정을 위해 신뢰할 수 있는 특징 유사도가 필수적이고 충분하다는 것을 입증한다.
• 국소-전역-크로스 특징 유사도 행렬을 통한 전역 매칭을 통해, 가림과 큰 이동에 대한 강건성과 정확성을 향상시킨다.
• 미세조정 없이도 FlyingThings3D, KITTI Scene Flow, Waymo-Open과 같은 다양한 벤치마크에서 최신 기술 수준의 일반화 성능을 달성한다.

제안 방법

• 하이브리드 국소-전역-크로스 트랜스포머 아키텍처를 사용하여 국소 기하학적 맥락과 전역, 크로스 모odal 표현을 결합한 고품질의 강력한 3D 포인트 클라우드 특징을 추출한다.
• 전역 매칭 과정을 통해 크로스 특징 유사도 행렬을 이용해 원천에서 대상 포인트로의 이동 벡터의 가중 평균을 계산하여 시 scene flow를 추정한다.
• 전역 매칭 과정은 짧은 거리와 긴 거리의 대응 관계를 모두 포착하여, 빠른 움직임과 큰 이동을 효과적으로 처리할 수 있도록 한다.
• 정밀화 단계에서는 자기 특징 유사도 행렬을 사용하여 유사한 특징을 가진 영역에서 매끄러운 흐름을 보장하고, 가림 영역으로의 흐름 전파를 가능하게 한다.
• 매칭에 전적으로 특징 유사도에 의존하여 반복적 정밀화나 다중 스케일 감독이 필요 없도록 한다.
• 표준 평가 지표인 EPE3D, 정확도, 이상치 비율을 사용하여 합성 데이터셋에서 지도된 시 scene flow를 엔드 투 엔드로 훈련한다.

Figure 1: Method Overview. We propose a simple yet powerful method for scene flow estimation. In the first stage (see Section 3.1 ) we propose a strong local-global-cross transformer architecture that is capable of extracting robust and highly localizable features. In the second stage (see Section 3

실험 결과

연구 질문

• RQ1 단일 스케일, 원샷 전역 매칭 접근법이 3D 시 scene flow 추정에서 다단계 정밀화 방법을 능가할 수 있는가?
• RQ2 신뢰할 수 있는 특징 유사도만으로도 정확하고 강건한 시 scene flow 추정을 달성할 수 있는가?
• RQ3 특징 표현에서 국소, 전역, 크로스 어텐션 메커니즘의 통합이 얼마나 중요한가?
• RQ4 명시적인 다중 스케일 또는 반복 정밀화 없이 전역 매칭이 얼마나 큰 이동과 가림을 효과적으로 처리할 수 있는가?
• RQ5 제안된 방법이 FlyingThings3D, KITTI Scene Flow, Waymo-Open과 같은 다양한 벤치마크에서 효과적으로 일반화되는가?

주요 결과

• FlyingThings3D에서 GMSF는 이상치 비율을 5.6%로 줄여 이전 최신 기술 수준의 27.4%보다 뚜렷한 향상을 이룬다.
• KITTI Scene Flow에서 이론적으로 미세조정 없이도 최신 기술 수준의 성능을 달성하여 강력한 일반화 능력을 입증한다.
• Waymo-Open 데이터셋에서 GMSF는 이전 방법들을 크게 앞서며, 실제 세계의 복잡성에 대한 강력한 강건성을 보여준다.
• 제거 실험 결과, 토큰화 과정에서 국소 정보(예: DGCNN 또는 PointNet를 통한)가 필수적임을 확인하였으며, PointNet나 MLP만으로는 성능이 크게 떨어진다.
• 128차원 특징 차원에서 최적의 성능을 달성하며, 32차원으로 감소시킬 경우 정확도가著 떨어진다.
• 전역-크로스 트랜스포머 스택은 필수적이다. 이를 제거하면 성능이 심각하게 저하되며, 이는 장거리 의존성을 포착하는 데서의 기여를 강조한다.

Figure 2: Transformer Architecture . Detailed local (left), global (middle), and cross (right) transformer architecture. The local transformer incorporates attention within a small number of neighbors. The global transformer is applied on the source and target points separately and incorporates atte