[論文レビュー] HPLFlowNet: Hierarchical Permutohedral Lattice FlowNet for Scene Flow Estimation on Large-scale Point Clouds

Xiuye Gu, Yijie Wang+3 more|arXiv (Cornell University)|Jun 12, 2019

Advanced Vision and Imaging参考文献 45被引用数 14

ひとこと要約

HPLFlowNet は、大規模なポイントクラウドにおけるエンドツーエンドの3次元シーンフロー推定のため、階層的パーミュータヘドラルラティスに基づく深層ネットワークを提案する。未構造化データを効率的に処理しながら構造的情報を保持するため、新しい DownBCL、UpBCL、CorrBCL 操作を導入している。FlyingThings3D および KITTI データセットで最先端の性能を達成し、微調整なしに実世界のデータや異なるポイント密度に対しても良好に一般化する。1フレームあたり最大 86K ポイントを低計算コストで処理できる。

ABSTRACT

We present a novel deep neural network architecture for end-to-end scene flow estimation that directly operates on large-scale 3D point clouds. Inspired by Bilateral Convolutional Layers (BCL), we propose novel DownBCL, UpBCL, and CorrBCL operations that restore structural information from unstructured point clouds, and fuse information from two consecutive point clouds. Operating on discrete and sparse permutohedral lattice points, our architectural design is parsimonious in computational cost. Our model can efficiently process a pair of point cloud frames at once with a maximum of 86K points per frame. Our approach achieves state-of-the-art performance on the FlyingThings3D and KITTI Scene Flow 2015 datasets. Moreover, trained on synthetic data, our approach shows great generalization ability on real-world data and on different point densities without fine-tuning.

研究の動機と目的

• 局所的なパッチ分割やポイントのサブサンプリングなしに、大規模で非構造的なポイントクラウドに対して、高密度な3次元シーンフローを効率的に推定する課題に対処すること。
• 特徴学習中に順序のない、疎で不規則なポイントクラウドから構造的情報を効果的に回復すること。
• 特にサンプリングが不均一な実世界シナリオにおいて、異なるポイント密度に強く耐性を持つ性能を実現すること。
• 2つの連続するポイントクラウドフレーム間の情報を効果的に統合して、正確な動き推定を実現すること。
• 計算コストを低減しながら高い精度を維持し、大規模データのフルフレーム処理を可能にすること。

提案手法

• 離散的でスパースなパーミュータヘドラルラティスに適応された、バイラテラル畳み込み層にインspiredされた新しい DownBCL、UpBCL、CorrBCL 操作を導入し、非構造的ポイントクラウドを効率的に処理する。
• 入力ポイントクラウドの信号をパーミュータヘドラルラティスにマッピングし、複数スケールにわたる階層的スパース畳み込みを実行した後、結果を元のポイントに戻して補間する。
• 階層的アワークラス構造を採用：DownBCL 層によるダウンサンプリング、フレーム間の特徴統合に CorrBCL を用い、UpBCL 層によるアップサンプリングで高密度なフローフィールドを再構築する。
• 異なるポイント密度における特徴学習の安定性を高めるために、新しい密度正規化スキームを導入し、微調整なしに一般化性能を向上させる。
• 相対的位置エンコーディングと要素ごとの乗算ではなく連結型相関を採用することで、マルチスケールの文脈を保持し、スキップ接続を可能にする。
• 局所的なパッチ分割やサブサンプリングを回避して、1回の順伝播で全ポイントクラウドペアを処理し、グローバルな文脈と境界の正確性を維持する。

実験結果

リサーチクエスチョン

• RQ1 局所的なパッチ分割やサブサンプリングなしに、大規模で非構造的な3次元ポイントクラウドを効率的に処理してシーンフロー推定を実現できるか？
• RQ2 特徴学習中に、順序のない、疎で不規則なポイントクラウドから構造的情報を効果的に回復できるか？
• RQ3 微調整なしに、異なるポイント密度や実世界のデータ分布に一般化できるか？
• RQ4 階層的かつ構造的な空間において、2つの連続するポイントクラウドからの情報を最適に統合する方法は何か？
• RQ5 3次元シーンフロー推定において、計算コストを最小限に抑えながら高い精度を維持できるか？

主な発見

• HPLFlowNet は、1フレームあたり 8,192 ポイントで処理する条件下で、FlyingThings3D で EPE3D 0.0804 を達成し、FlowNet3D を含む先行手法を上回る最先端の性能を示した。
• KITTI Scene Flow 2015 では、1フレームあたり 86K ポイントをすべて使用して EPE3D 0.1087 を達成し、実世界データにおける強力な性能を示した。
• モデルは異なるポイント密度に対しても堅牢に一般化する：訓練時が 8,192 ポイントでも、65,536 ポイントでの評価時でも EPE3D は安定に 0.1087 を維持した。
• 提案された密度正規化スキームは一般化性能を顕著に向上させ、非正規化ベースライン（0.1842）と比較して、65,536ポイント入力の EPE3D を 0.0766 減少（0.1842 → 0.1087）させた。
• HPLFlowNet は平均的に元の BCL より 44% 速く、入力サイズに比例して実行時間が増加しないため、アーキテクチャの効率性が裏付けられた。
• アブレーションスタディにより、スキップ接続、マルチスケールの CorrBCL、連結型相関が性能に不可欠であることが確認された。元の正規化スキームでは顕著に性能が劣化した。