[논문 리뷰] PointRNN: Point Recurrent Neural Network for Moving Point Cloud Processing

Hehe Fan, Yi Yang|arXiv (Cornell University)|2019. 10. 18.

3D Shape Modeling and Analysis참고 문헌 37인용 수 81

한 줄 요약

PointRNN은 포인트 좌표와 포인트별 상태를 사용하여 움직이는 3D 포인트 구름을 직접 처리합니다. 이는 PointGRU 및 PointLSTM 변형을 포함하며 합성 및 실제 주행 데이터 세트에서 움직이는 포인트 구름 예측이 강력함을 보여줍니다.

ABSTRACT

In this paper, we introduce a Point Recurrent Neural Network (PointRNN) for moving point cloud processing. At each time step, PointRNN takes point coordinates $\boldsymbol{P} \in \mathbb{R}^{n imes 3}$ and point features $\boldsymbol{X} \in \mathbb{R}^{n imes d}$ as input ($n$ and $d$ denote the number of points and the number of feature channels, respectively). The state of PointRNN is composed of point coordinates $\boldsymbol{P}$ and point states $\boldsymbol{S} \in \mathbb{R}^{n imes d'}$ ($d'$ denotes the number of state channels). Similarly, the output of PointRNN is composed of $\boldsymbol{P}$ and new point features $\boldsymbol{Y} \in \mathbb{R}^{n imes d''}$ ($d''$ denotes the number of new feature channels). Since point clouds are orderless, point features and states from two time steps can not be directly operated. Therefore, a point-based spatiotemporally-local correlation is adopted to aggregate point features and states according to point coordinates. We further propose two variants of PointRNN, i.e., Point Gated Recurrent Unit (PointGRU) and Point Long Short-Term Memory (PointLSTM). We apply PointRNN, PointGRU and PointLSTM to moving point cloud prediction, which aims to predict the future trajectories of points in a set given their history movements. Experimental results show that PointRNN, PointGRU and PointLSTM are able to produce correct predictions on both synthetic and real-world datasets, demonstrating their ability to model point cloud sequences. The code has been released at \url{https://github.com/hehefan/PointRNN}.

연구 동기 및 목표

• 정적 포인트 구름 분석을 넘어 움직이는 포인트 구름 처리를 동기화합니다.
• 좌표를 상태와 출력 모두에서 활용하여 포인트별 구조를 보존하는 포인트 기반 RNN을 도입합니다.
• 시퀀스 모델링에서의 그래디언트 소실/폭발 문제를 완화하기 위해 두 가지 강력한 변형(PointGRU 및 PointLSTM)을 제안합니다.
• 합성 및 실제 주행 데이터 세트에서 PointRNN 계열의 효과를 미래 궤적 예측에 대해 입증합니다.

제안 방법

• 입력으로 (P_t, X_t)와 상태로 (P_{t-1}, S_{t-1})를 받아 (P_t, S_t)를 업데이트하고 출력으로 (P_t, Y_t)를 산출하는 PointRNN을 정의합니다.
• 공간적으로-시간적으로 로컬한 상관관계를 사용해 포인트 좌표를 기준으로 이웃 쿼리(k-NN 또는 구(ball) 쿼리)를 통해 X_t와 S_{t-1}를 집계합니다.
• 결합(concatenation) 기반 RNN 연산을 포인트 기반 RNN 함수로 대체하여 이웃으로부터 집계된 표현을 풀링합니다.
• 그래디언트 문제를 완화하기 위해 게이티드 메커니즘을 포인트 기반 RNN 연산으로 대체하여 PointGRU 및 PointLSTM을 제안합니다.
• 움직이는 포인트 구름 예측에 seq2seq 아키텍처를 적용하고 포인트 변위를 예측하여 3D 장면 흐름을 산출합니다.
• Moving MNIST 포인트 구름과 대규모 자율주행 데이터세트(Argoverse, nuScenes)를 Chamfer Distance (CD)와 Earth Mover’s Distance (EMD) 지표로 평가합니다.

실험 결과

연구 질문

• RQ1 점별 순환 유닛이 보 voxel화나 전역 풀링 없이도 움직이는 포인트 구름의 동적 특성을 효과적으로 모델링할 수 있는가?
• RQ2 PointGRU와 PointLSTM이 3D 궤적 예측에서의 안정성과 예측 정확도 측면에서 PointRNN보다 이점을 제공하는가?
• RQ3 점 기반의 지역성 및 기하 보존이 합성 및 실제 데이터에서 예측 품질에 어떻게 기여하는가?

주요 결과

• PointRNN과 그 변변이들은 합성 Moving MNIST 데이터와 실제 주행 데이터에서 움직이는 포인트 구름의 미래 궤적을 성공적으로 예측합니다.
• Argoverse에서 고급 PointRNN은 CD 0.2789 및 EMD 0.8964를 달성하며 여러 베이스라인을 능가합니다. nuScenes에서는 PointRNN(볼 쿼리 변형)에 대해 CD 0.0619 및 EMD 0.3750가 보고됩니다.
• 볼 쿼리와 계층적(다층) 설계의 고급 아키텍처가 기본 모델에 비해 정확도 향상 및 FLOPs 감소를 가져옵니다.
• 포인트 기반 모델은 부피 기반 접근법보다 훨씬 적은 FLOPs를 필요로 하며, 계층적 스태킹은 설정 간 CD/EMD에서 현저한 이점을 제공합니다.
• 볼 쿼리는 대규모 주행 데이터 세트에서 일반적으로 k-NN보다 예측 정확도가 우수합니다.