[論文レビュー] PointRNN: Point Recurrent Neural Network for Moving Point Cloud Processing

Hehe Fan, Yi Yang|arXiv (Cornell University)|Oct 18, 2019

3D Shape Modeling and Analysis参考文献 37被引用数 81

ひとこと要約

PointRNN は、点の座標と各点の状態を用いて動く3D点群を直接処理します。 PointGRU および PointLSTM バリアントを含み、合成データセットと実 driving データセットにおける動く点群予測の強力さを示します。

ABSTRACT

In this paper, we introduce a Point Recurrent Neural Network (PointRNN) for moving point cloud processing. At each time step, PointRNN takes point coordinates $\boldsymbol{P} \in \mathbb{R}^{n imes 3}$ and point features $\boldsymbol{X} \in \mathbb{R}^{n imes d}$ as input ($n$ and $d$ denote the number of points and the number of feature channels, respectively). The state of PointRNN is composed of point coordinates $\boldsymbol{P}$ and point states $\boldsymbol{S} \in \mathbb{R}^{n imes d'}$ ($d'$ denotes the number of state channels). Similarly, the output of PointRNN is composed of $\boldsymbol{P}$ and new point features $\boldsymbol{Y} \in \mathbb{R}^{n imes d''}$ ($d''$ denotes the number of new feature channels). Since point clouds are orderless, point features and states from two time steps can not be directly operated. Therefore, a point-based spatiotemporally-local correlation is adopted to aggregate point features and states according to point coordinates. We further propose two variants of PointRNN, i.e., Point Gated Recurrent Unit (PointGRU) and Point Long Short-Term Memory (PointLSTM). We apply PointRNN, PointGRU and PointLSTM to moving point cloud prediction, which aims to predict the future trajectories of points in a set given their history movements. Experimental results show that PointRNN, PointGRU and PointLSTM are able to produce correct predictions on both synthetic and real-world datasets, demonstrating their ability to model point cloud sequences. The code has been released at \url{https://github.com/hehefan/PointRNN}.

研究の動機と目的

• 静的な点群解析を超えた moving point cloud の処理を動機づける。
• 状態と出力の両方で座標を活用して各点の構造を保持する点ベースの RNN を導入する。
• 連続モデリングにおける勾配消失/発散問題に対処するため、堅牢な二つのバリアント（PointGRU と PointLSTM）を提案する。
• 将来の軌道予測のために、合成データと実世界の運転データセット上で PointRNN ファミリーの有効性を示す。

提案手法

• PointRNN を、入力として (P_t, X_t) を取り、状態として (P_{t-1}, S_{t-1}) を取り、(P_t, S_t) を更新して (P_t, Y_t) を出力するように定義する。
• 点の座標に基づく近傍クエリ（k-NN または ball query）を介して、X_t と S_{t-1} を時空的に局所的な相関を用いて集約する。
• 連結ベースの RNN 演算を、隣接点を集約して表現をプールする点ベースの rnn 関数に置換する。
• ゲート機構を点ベースの rnn 演算に置き換えることで、勾配の問題を緩和するために PointGRU and PointLSTM を提案する。
• 移動する点群予測のために seq2seq アーキテクチャを適用し、点の変位を予測して結果として 3D scene flow を得る。
• Chamfer Distance (CD) と Earth Mover’s Distance (EMD) を指標として、Moving MNIST 点群および大規模自動運転データセット（Argoverse, nuScenes）で評価する。

実験結果

リサーチクエスチョン

• RQ1 点ごとに処理する再帰ユニットは、ボクセル化やグローバルプーリングを用いずに moving point cloud のダイナミクスを効果的にモデル化できるか？
• RQ2 PointGRU および PointLSTM は、3D 軌跡予測の安定性と予測精度の点で PointRNN より利点を提供するか？
• RQ3 点ベースの局所性と幾何学的保持は、合成データと実世界データでの予測品質にどう寄与するか？

主な発見

• PointRNN とそのバリアントは、合成 Moving MNIST データと実データの運転データセットで、動く点群における点の将来軌道を成功裡に予測する。
• Argoverse では、高度な PointRNN が CD 0.2789 および EMD 0.8964 を達成し、いくつかのベースラインを上回る。nuScenes では、PointRNN (ball query variant) の CD 0.0619 および EMD 0.3750 が報告されている。
• 高度なアーキテクチャは ball query と階層型（マルチレイヤー）設計を用い、基本モデルと比較して精度を向上させ、FLOPs を低減する。
• 点ベースのモデルは体素ベースのアプローチよりはるかに少ない FLOPs を必要とし、階層的積み重ねは設定全体で CD/EMD の著しい改善をもたらす。
• Ball query は大規模な運転データセットで、予測精度が一般的に k-NN を上回る。