[논문 리뷰] HCRF-Flow: Scene Flow from Point Clouds with Continuous High-order CRFs and Position-aware Flow Embedding

Ruibo Li, Guosheng Lin외 3명|arXiv (Cornell University)|2021. 05. 17.

Advanced Vision and Imaging참고 문헌 48인용 수 5

한 줄 요약

HCRF-Flow는 3D 포인트 클라우드에서 점별로 부드럽고 영역 수준의 강성 운동 일致성을 강제하기 위해 딥 네ural 네트워크와 연속 고차 조건부 랜덤 필드(Con-HCRFs)를 결합한 새로운 시나리오 플로우 추정 프레임워크를 제안한다. 위치 인식형 플로우 임베딩을 도입해 강인한 매칭 비용 집계를 구현하고, 국소 서브바oxel에서 공유 파라미터를 통해 강성 변환을 모델링함으로써, 기존 최고 성능 수준을 상회하는 성능을 달성하며, FlyingThings3D에서 95.07%의 Acc3DR과 KITTI에서 94.44%의 성능을 기록한다.

ABSTRACT

Scene flow in 3D point clouds plays an important role in understanding dynamic environments. Although significant advances have been made by deep neural networks, the performance is far from satisfactory as only per-point translational motion is considered, neglecting the constraints of the rigid motion in local regions. To address the issue, we propose to introduce the motion consistency to force the smoothness among neighboring points. In addition, constraints on the rigidity of the local transformation are also added by sharing unique rigid motion parameters for all points within each local region. To this end, a high-order CRFs based relation module (Con-HCRFs) is deployed to explore both point-wise smoothness and region-wise rigidity. To empower the CRFs to have a discriminative unary term, we also introduce a position-aware flow estimation module to be incorporated into the Con-HCRFs. Comprehensive experiments on FlyingThings3D and KITTI show that our proposed framework (HCRF-Flow) achieves state-of-the-art performance and significantly outperforms previous approaches substantially.

연구 동기 및 목표

• 기존 포인트 클라우드 시나리오 플로우 방법들이 운동을 각 점의 독립적 이동으로 간주하여 국소 기하학적 강성 정보를 忽시하는 한계를 해결한다.
• 국소 포인트 클라우드 영역에서 공간적 부드러움과 영역 수준의 강성 운동 제약 조건을 강제하여 운동 예측 정확도를 향상시킨다.
• 기존 딥 러닝 파ip라인에 통합할 수 있는 기하학적 일致성 제약 조건을 갖춘 기계적 학습 가능한, 효율적인 CRF 기반 정제 모듈을 개발한다.
• 학습 가능한 플로우 임베딩 레이어를 통해 위치적 맥락과 비용 차이 정보를 통합함으로써 강인한 매칭 비용 집계를 가능하게 한다.

제안 방법

• 공간적 위치와 비용 차이 특징을 모두 활용해 매칭 비용을 계산하는 위치 인식형 플로우 추정(PAFE) 모듈을 제안하여 특징 집계를 향상시킨다.
• 국소 서브바oxel 내 모든 점이 공유된 강성 운동(이동 및 회전)을 따르도록 하는 새로운 고차 항을 포함한 연속 고차 조건부 랜덤 필드(Con-HCRFs)를 설계한다.
• 유사한 국소 기하학적 특성을 가진 인접한 점들 간에 유사한 플로우 벡터를 갖도록 유도하는 이원적 부드러움 항을 통합한다.
• 단일 항, 이원 항, 고차 항을 동시에 최적화할 수 있도록 Con-HCRFs의 에너지 함수를 구성하여 딥 네트워크와 함께 엔드 투 엔드 학습이 가능하도록 한다.
• 계산 비용을 줄이기 위해 각 점이 아닌 각 서브바oxel 단위로 강성 파라미터를 계산하는 근사 전략을 고차 항에 적용한다.
• 초기 플로우 예측을 기하학적 일치성 제약 조건을 통해 정교화하기 위해 PAFE 및 Con-HCRFs 모듈을 함께 학습한다.

실험 결과

연구 질문

• RQ1 공유 변환 파라미터를 통해 국소 강성 운동 제약 조건을 강제하면 불규칙한 포인트 클라우드에서 3D 시나리오 플로우 추정 성능이 향상되는가?
• RQ2 위치 인식형 매칭 비용 집계를 통합하면 플로우 예측의 강인성과 정확도에 어떤 영향을 미치는가?
• RQ3 영역 수준의 강성을 모델링하는 고차 CRF 항은 기존의 이원적 또는 단순한 영역 평균 부드러움 항보다 우수한 성능을 내는가?
• RQ4 제안된 Con-HCRFs 모듈은 기존의 딥 러닝 기반 시나리오 플로우 네트워크에 효과적으로 플러그인으로 통합될 수 있는가?
• RQ5 제안된 방법은 표준 벤치마크에서 계산 효율성과 확장성 측면에서 어떻게 평가되는가?

주요 결과

• HCRF-Flow는 FlyingThings3D에서 95.07%의 Acc3DR, KITTI에서 94.44%의 성능을 기록하며 기존 방법들을 압도하는 최고 성능을 달성한다.
• 절단 분석 결과, PAFE-S 모듈에 고차 항을 추가함으로써 Acc3DS가 +4.43% 향상되어, 단순한 영역 평균 스무딩보다 효과적임을 입증한다.
• PAFE 및 Con-HCRFs의 공동 최적화는 PAFE-S 기반 모델 대비 Acc3DS를 6.21%p 향상시켜 추가적인 성능 향상을 입증한다.
• Con-HCRFs 모듈은 1080Ti GPU에서 1개의 시나리오(8192개 포인트)당 228.2ms 내외로 실행되며, 고차 항이 차지하는 시간은 단 100.8ms로 효율적인 확장성을 보여준다.
• 서브바oxel 크기에 대해 강인하며, 각 서브바oxel에 140~200개의 포인트가 포함될 때 최적의 성능을 기록하며, EPE3D는 0.0782를 기록한다.
• 고차 강성 운동 항을 단순한 영역 평균 항으로 대체할 경우 Acc3DS가 1.98% 감소하여, 제안된 강성 모델링 방식의 우수성을 확인한다.