[논문 리뷰] HPLFlowNet: Hierarchical Permutohedral Lattice FlowNet for Scene Flow Estimation on Large-scale Point Clouds

Xiuye Gu, Yijie Wang외 3명|arXiv (Cornell University)|2019. 06. 12.

Advanced Vision and Imaging참고 문헌 45인용 수 14

한 줄 요약

HPLFlowNet는 대규모 포인트 클라우드에서 종단 간 3D 시나리오 플로우 추정을 위한 계층적 퍼뮤토에이라드 라티스 기반 딥 네트워크를 제안하며, 비정형 데이터를 효율적으로 처리하면서도 구조적 정보를 유지하기 위해 새로운 DownBCL, UpBCL, CorrBCL 연산을 사용한다. 이는 FlyingThings3D 및 KITTI 데이터셋에서 최신 기술 수준의 성능을 달성하며, 미세조정 없이도 실제 세계 데이터와 다양한 포인트 밀도에 대해 잘 일반화되며, 프레임당 최대 86K개 포인트를 낮은 계산 비용으로 처리한다.

ABSTRACT

We present a novel deep neural network architecture for end-to-end scene flow estimation that directly operates on large-scale 3D point clouds. Inspired by Bilateral Convolutional Layers (BCL), we propose novel DownBCL, UpBCL, and CorrBCL operations that restore structural information from unstructured point clouds, and fuse information from two consecutive point clouds. Operating on discrete and sparse permutohedral lattice points, our architectural design is parsimonious in computational cost. Our model can efficiently process a pair of point cloud frames at once with a maximum of 86K points per frame. Our approach achieves state-of-the-art performance on the FlyingThings3D and KITTI Scene Flow 2015 datasets. Moreover, trained on synthetic data, our approach shows great generalization ability on real-world data and on different point densities without fine-tuning.

연구 동기 및 목표

• 대규모 비정형 포인트 클라우드에서 국소 패치 또는 서브샘플링 없이 밀도 높은 3D 시나리오 플로우를 효율적으로 추정하는 문제를 해결하기 위해.
• 특징 학습 과정에서 순서가 없는, 흐린, 비정규 포인트 클라우드로부터 구조적 정보를 복원하기 위해.
• 특히 불균일한 샘플링이 이루어지는 실제 세계 시나리오에서 다양한 포인트 밀도에 대해 강건한 성능을 유지하기 위해.
• 두 연속된 포인트 클라우드 프레임 간의 정보를 정확한 운동 추정을 위해 효과적으로 융합하기 위해.
• 높은 정확도를 유지하면서도 계산 비용을 최소화하여 대규모 데이터에서 전체 프레임 처리를 가능하게 하기 위해.

제안 방법

• 비정형 포인트 클라우드를 효율적으로 처리하기 위해 이산적이고 흐린 퍼뮤토에이라드 라티스에 맞게 조정된 이중 컨볼루션 레이어를 영감으로 삼은 새로운 DownBCL, UpBCL, CorrBCL 연산을 도입한다.
• 입력 포인트 클라우드 신호를 퍼뮤토에이라드 라티스에 매핑하고, 다중 스케일에서 계층적인 희소 컨볼루션을 수행한 후 결과를 원본 포인트로 보간한다.
• 계층적 아워글라스 아키텍처를 사용한다: DownBCL 레이어를 통한 다운샘플링, 프레임 간 CorrBCL을 통한 특징 융합, UpBCL 레이어를 통한 업샘플링을 통해 고밀도 플로우 필드를 재구성한다.
• 다양한 포인트 밀도에서 특징 학습을 안정화시키기 위해 새로운 밀도 정규화 기법을 적용하여, 미세조정 없이도 일반화 능력을 향상시킨다.
• 상대적 위치 인코딩과 요소별 곱셈 대신 연결형 상관관계를 사용하여 다중 스케일 컨텍스트를 유지하고 스킵 연결을 가능하게 한다.
• 전체 포인트 클라우드 쌍을 한 번의 순방향 전파로 처리하여 국소 패치나 서브샘플링을 방지함으로써 글로벌 컨텍스트와 경계 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 국소 패치나 서브샘플링 없이도 대규모 비정형 3D 포인트 클라우드를 효율적으로 처리할 수 있는 딥 러닝 아키텍처는 존재할 수 있는가?
• RQ2 특징 학습 과정에서 순서가 없고 흐린 비정규 포인트 클라우드로부터 구조적 정보를 효과적으로 복원할 수 있는가?
• RQ3 미세조정 없이도 다양한 포인트 밀도와 실제 세계 데이터 분포에 대해 잘 일반화될 수 있는가?
• RQ4 계층적이고 구조화된 공간에서 두 연속된 포인트 클라우드의 정보를 최적의 방식으로 융합할 수 있는가?
• RQ5 3D 시나리오 플로우 추정에서 높은 정확도를 유지하면서도 계산 비용을 최소화할 수 있는가?

주요 결과

• HPLFlowNet는 프레임당 8,192개 포인트에서 3D EPE가 0.0804로 FlyingThings3D에서 최신 기술 수준의 성능을 달성하며, FlowNet3D를 포함한 이전 방법들을 능가한다.
• KITTI Scene Flow 2015에서 HPLFlowNet는 프레임당 86K개 포인트를 모두 사용하여 3D EPE가 0.1087을 기록하며 실제 세계 데이터에서 뛰어난 성능을 보였다.
• 모델은 다양한 포인트 밀도에 대해 강력하게 일반화되며, 훈련 시 8,192개 포인트에서 훈련되었음에도 불구하고 65,536개 포인트에서 평가했을 때도 3D EPE가 안정적으로 유지된다(0.1087).
• 제안된 밀도 정규화 기법은 일반화 능력을 크게 향상시켰으며, 비정규화 기반 모델 대비 65,536개 포인트 KITTI 입력에서 3D EPE를 0.0766 감소시켰다(비정규화 기준 0.1842 대비 0.1087).
• HPLFlowNet는 평균적으로 기존 BCL보다 44% 빠르며, 런타임이 입력 크기와 선형적으로 증가하지 않아 아키텍처의 효율성을 입증한다.
• 제거 실험 결과 스킵 연결, 다중 스케일 CorrBCL, 연결형 상관관계가 성능에 핵심적임을 확인하였으며, 원래의 정규화 기법은 상당히 성능이 열 劣하다.