[논문 리뷰] PV-RAFT: Point-Voxel Correlation Fields for Scene Flow Estimation of Point Clouds

Yi Wei, Ziyi Wang외 3명|arXiv (Cornell University)|2020. 12. 02.

Advanced Vision and Imaging참고 문헌 49인용 수 4

한 줄 요약

PV-RAFT는 국소적인 세부 정보를 위한 K-최근접 이웃(KNN)-기반 점 상관관계와 장거리 의존성을 위한 다중 척도 복합체 상관관계 필드를 결합하여, 불규칙한 점군에서 3차원 시나리오 플로우를 추정하기 위한 새로운 점-복합체 상관관계 필드 기반 메커니즘을 제안한다. 반복적인 GRU 기반 정밀 조정과 메모리 효율적인 잘라내기 전략을 통해 FlyingThings3D 및 KITTI Scene Flow 2015에서 최신 기술 수준의 성능을 달성하며, 이는 이전 방법들에 비해 유의미한 성능 향상으로 이어진다.

ABSTRACT

In this paper, we propose a Point-Voxel Recurrent All-Pairs Field Transforms (PV-RAFT) method to estimate scene flow from point clouds. Since point clouds are irregular and unordered, it is challenging to efficiently extract features from all-pairs fields in the 3D space, where all-pairs correlations play important roles in scene flow estimation. To tackle this problem, we present point-voxel correlation fields, which capture both local and long-range dependencies of point pairs. To capture point-based correlations, we adopt the K-Nearest Neighbors search that preserves fine-grained information in the local region. By voxelizing point clouds in a multi-scale manner, we construct pyramid correlation voxels to model long-range correspondences. Integrating these two types of correlations, our PV-RAFT makes use of all-pairs relations to handle both small and large displacements. We evaluate the proposed method on the FlyingThings3D and KITTI Scene Flow 2015 datasets. Experimental results show that PV-RAFT outperforms state-of-the-art methods by remarkable margins.

연구 동기 및 목표

• 비정규적이고 순서가 없는 점군으로부터 정확한 3차원 시나리오 플로우를 추정하는 데 도전한다.
• 기존 방법들이 국소적 또는 굵은 상관관계에만 의존하는 한계를 극복하기 위해 국소적 및 장거리 전부분 상관관계를 모두 포괄한다.
• 반복적 정밀 조정과 상관관계 잘라내기 전략을 통해 높은 정확도를 유지하면서도 메모리 최적화된 효율적인 프레임워크를 개발한다.
• 합성(FlyingThings3D) 및 실세계(KITTI) 시나리오를 포함한 다양한 점군 데이터셋에 대해 잘 일반화되는 것을 목표로 한다.

제안 방법

• 국소적인 세분화된 특징을 위한 KNN 기반 점 상관관계와 장거리 의존성을 위한 다중 척도 복합체화 상관관계 필드를 통합한 점-복합체 상관관계 필드를 도입한다.
• 점 기반 및 복합체 기반 상관관계 특징을 모두 사용하여 반복적으로 시나리오 플로우 예측을 정밀 조정하는 GRU 기반 순환 업데이트 메커니즘을 적용한다.
• 상관관계 점수 상위-M개만 유지하는 잘라내기 전략을 적용하여 메모리 사용량을 줄이되 성능에 영향을 주지 않는다.
• 각 점의 특징을 추출하기 위해 특징 인코더를 사용한 후, 최종 시나리오 플로우 출력을 부드럽게 만드는 정밀 조정 모듈을 적용한다.
• 다양한 공간 해상도에서 장거리 대응 관계를 모델링하기 위해 다중 척도의 복합체 격자 피라미드를 구성한다.
• 3D 점군에 적합하게 조정된 RAFT의 모든 쌍 상관관계 필드 변환 기반의 굵은-세밀한 반복 전략을 활용한다.

실험 결과

연구 질문

• RQ1 한 가지 모odal(점 기반 또는 복합체 기반)에 의존하는 방법과 비교해 복합체 기반 상관관계 필드와 점 기반 상관관계 필드를 동시에 사용하는 것이 3차원 점군의 시나리오 플로우 추정에 성능 향상을 이끌 수 있는가?
• RQ2 제안된 점-복합체 상관관계 필드는 비정규적인 3차원 점군에서 국소적 및 장거리 의존성을 얼마나 효과적으로 포착하는가?
• RQ3 모든 쌍 상관관계 학습에서 메모리 소비를 줄이기 위해 잘라내기 전략이 성능 정확도를 유지하면서 얼마나 효과적으로 작용하는가?
• RQ4 점-복합체 상관관계를 통합한 반복적 GRU 기반 정밀 조정이 FlyingThings3D 및 KITTI와 같은 다양한 데이터셋에서 더 나은 일반화 성능을 낼 수 있는가?
• RQ5 기존 최신 기술 수준의 방법들에 비해 표준 벤치마크에서 정확도와 효율성 측면에서 모두 뛰어난 성능을 낼 수 있는가?

주요 결과

• KITTI Scene Flow 2015 데이터셋에서 PV-RAFT는 종단간 오차(EPE) 평균 0.0461을 기록하여 이전 방법들인 FlowNet3D(0.0704) 및 PointPWC-Net(0.0614)보다 유의미하게 뛰어난 성능을 보였다.
• FlyingThings3D 데이터셋에서 PV-RAFT는 엄격한 정확도 기준 0.7113로 EPE 0.0585를 달성하여 다양한 데이터셋 간 강력한 일반화 능력을 입증했다.
• 절단 실험 결과, 점 기반 및 복합체 기반 상관관계 구성 요소가 모두 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능 저하가 발생했다.
• M=512로 설정한 잘라내기 연산이 최적의 균형을 이뤘으며, 이로 인해 메모리 사용량이 10.7GB로 감소했고, 최고의 성능(EPE: 0.0461, 정확도: 0.8169)을 유지했다.
• 시각화 결과, 흐름 예측이 정확하지 않은 초기 단계에서는 복합체 기반 상관관계가 예측을 안내하는 것으로 나타났고, 예측이 수렴함에 따라 점 기반 상관관계가 국소 정밀도를 향상시키는 데 기여했다.
• 실세계 데이터에 대해서도 잘 일반화되어, 복잡한 실세계 운동과 노이즈를 포함한 KITTI 벤치마크에서 최신 기술 수준의 결과를 달성했다.