[論文レビュー] PV-RAFT: Point-Voxel Correlation Fields for Scene Flow Estimation of Point Clouds

Yi Wei, Ziyi Wang+3 more|arXiv (Cornell University)|Dec 2, 2020

Advanced Vision and Imaging参考文献 49被引用数 4

ひとこと要約

PV-RAFTは、局所的な詳細を捉えるK-近傍（KNN）ベースの点相関と、長距離依存関係を捉えるマルチスケールボクセル化相関フィールドを組み合わせることで、点群からの3次元シーンフローを推定する新しいポイントボクセル相関フィールド機構を提案する。本手法は、反復的GRUベースの精練とメモリ効率の良い切断戦略を用いることで、FlyingThings3DおよびKITTI Scene Flow 2015で最先端の性能を達成し、先行手法を大きく上回る。

ABSTRACT

In this paper, we propose a Point-Voxel Recurrent All-Pairs Field Transforms (PV-RAFT) method to estimate scene flow from point clouds. Since point clouds are irregular and unordered, it is challenging to efficiently extract features from all-pairs fields in the 3D space, where all-pairs correlations play important roles in scene flow estimation. To tackle this problem, we present point-voxel correlation fields, which capture both local and long-range dependencies of point pairs. To capture point-based correlations, we adopt the K-Nearest Neighbors search that preserves fine-grained information in the local region. By voxelizing point clouds in a multi-scale manner, we construct pyramid correlation voxels to model long-range correspondences. Integrating these two types of correlations, our PV-RAFT makes use of all-pairs relations to handle both small and large displacements. We evaluate the proposed method on the FlyingThings3D and KITTI Scene Flow 2015 datasets. Experimental results show that PV-RAFT outperforms state-of-the-art methods by remarkable margins.

研究の動機と目的

• 不規則で順序のない点群からの正確な3次元シーンフロー推定の課題に対処すること。
• 局所的または粗い相関に依存する従来手法の限界を克服し、局所的および長距離のすべてのペアの依存関係を捉えること。
• 反復的精錬と相関の切断を用いて、高精度を維持したまま効率的でメモリ最適化されたフレームワークを開発すること。
• 合成データ（FlyingThings3D）と実世界データ（KITTI）を含む多様な点群データセットに優れた汎用性を発揮すること。

提案手法

• KNNベースの点相関による細粒度の局所特徴と、マルチスケールボクセル化相関フィールドによる長距離依存関係を統合したポイントボクセル相関フィールドを導入する。
• 点ベースおよびボクセルベースの相関特徴を用いて、GRUベースの再帰的更新機構により、シーンフロー予測を反復的に精錬する。
• 上位M個の相関スコアのみを保持する切断機構を適用し、パフォーマンスに損なわれることなくメモリ使用量を削減する。
• 各点の特徴を抽出する特徴エンコーダを用い、その後に滑らかな最終シーンフロー出力を得るための精錬モジュールを適用する。
• 複数スケールのボクセルグリッドのピラミッドを構築し、さまざまな空間解像度での長距離対応関係をモデル化する。
• 3次元点群に適応したRAFTの全ペアフィールド変換を模倣した、粗いから細かい段階への反復的戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 点ベースとボクセルベースの相関フィールドを組み合わせることで、1つのモodalに依存する手法と比較して、3次元点群におけるシーンフロー推定が向上するか。
• RQ2 提案されたポイントボクセル相関フィールドは、不規則な3次元点群において、局所的および長距離の両方の依存関係をどれほど効果的に捉えられるか。
• RQ3 切断機構は、全ペア相関学習におけるメモリ消費量をどの程度削減できるか、かつ予測精度を損なわず維持できるか。
• RQ4 点-ボクセル相関を統合した反復的GRUベースの精錬は、FlyingThings3DやKITTIのような多様なデータセットにおける一般化性能を向上させるか。
• RQ5 提案手法は、標準ベンチマークにおいて、精度と効率の両面で既存の最先端手法を上回ることができるか。

主な発見

• KITTI Scene Flow 2015データセットにおいて、PV-RAFTは平均エンドツーエンド誤差（EPE）0.0461を達成し、FlowNet3D（0.0704）やPointPWC-Net（0.0614）といった先行手法を大きく上回った。
• FlyingThings3Dデータセットでは、EPEが0.0585で、厳密な精度0.7113を達成し、データセット間での強力な汎用性を示した。
• アブレーションスタディにより、点ベースおよびボクセルベースの相関コンponentsが両方とも不可欠であることが確認され、いずれかを削除すると性能が低下した。
• M=512での切断処理が最適なバランスを実現し、メモリ使用量を10.7GBに削減しながら、最高のパフォーマンス（EPE: 0.0461、精度: 0.8169）を維持した。
• 可視化結果から、ボクセルベースの相関は、フローが不正確な初期段階で予測をガイドする一方、点ベースの相関は予測が収束するに従い局所化を精錬することがわかった。
• 本手法は実世界データに対しても優れた汎用性を示し、複雑な実世界の動きとノイズを含むKITTIベンチマークで最先端の結果を達成した。