[論文レビュー] HCRF-Flow: Scene Flow from Point Clouds with Continuous High-order CRFs and Position-aware Flow Embedding

Ruibo Li, Guosheng Lin+3 more|arXiv (Cornell University)|May 17, 2021

Advanced Vision and Imaging参考文献 48被引用数 5

ひとこと要約

HCRF-Flow は、3次元点群における点単位の滑らかさと領域単位の剛体運動の一貫性を強制するため、深層畳み込みニューラルネットワークと連続的高次条件付きランダムフィールド（Con-HCRFs）を組み合わせた新しいシーンフロー推定フレームワークを提案する。位置に敏感なフローエンベッディングを導入して堅牢なマッチングコスト集約を実現するとともに、局所スーパーベクセル内で共有パラメータを用いて剛体変換をモデル化することで、最先端の性能を達成し、FlyingThings3D では 95.07% の Acc3DR、KITTI では 94.44% を達成した。

ABSTRACT

Scene flow in 3D point clouds plays an important role in understanding dynamic environments. Although significant advances have been made by deep neural networks, the performance is far from satisfactory as only per-point translational motion is considered, neglecting the constraints of the rigid motion in local regions. To address the issue, we propose to introduce the motion consistency to force the smoothness among neighboring points. In addition, constraints on the rigidity of the local transformation are also added by sharing unique rigid motion parameters for all points within each local region. To this end, a high-order CRFs based relation module (Con-HCRFs) is deployed to explore both point-wise smoothness and region-wise rigidity. To empower the CRFs to have a discriminative unary term, we also introduce a position-aware flow estimation module to be incorporated into the Con-HCRFs. Comprehensive experiments on FlyingThings3D and KITTI show that our proposed framework (HCRF-Flow) achieves state-of-the-art performance and significantly outperforms previous approaches substantially.

研究の動機と目的

• 既存の点群シーンフローメソッドが各点ごとの移動を独立して扱うため、局所的な幾何的剛体性を無視するという制限を解決する。
• 局所点群領域における空間的滑らかさと領域レベルの剛体運動制約を強制することで、動き予測の精度を向上させる。
• 既存のディープラーニングパイプラインに統合可能な微分可能で効率的なCRFベースの精練モジュールを開発する。
• 学習可能なフローエンベッディング層に位置的文脈とコスト差分情報を取り入れることで、堅牢なマッチングコスト集約を実現する。

提案手法

• 空間的位置とコスト差分特徴を両方活用してマッチングコストを計算する位置に敏感なフローエstimations（PAFE）モジュールを提案し、特徴の集約を向上させる。
• 局所スーパーベクセル内のすべての点が共有パラメータを介して同一の剛体運動（並進と回転）に従うように制約する、新しい高次項を備えた連続的高次CRF（Con-HCRFs）を設計する。
• 類似した局所幾何構造を持つ隣接点が同じフローベクトルを持つように促進するペairwise滑らかさ項を統合する。
• Con-HCRFsのエネルギー関数を、単一項、ペairwise項、高次項を同時に最適化する形で定式化し、深層ネットワークとエンドツーエンドで学習可能にする。
• 計算コストを削減するため、各点ではなく各スーパーベクセルごとに剛体パラメータを計算する近似戦略を高次項に適用する。
• 初期フローパredictionを幾何的一致性制約で精錬するため、PAFE と Con-HCRFs モジュールを共同で学習する。

実験結果

リサーチクエスチョン

• RQ1 共有変換パラメータを用いて局所的剛体運動制約を強制することで、不規則な点群における3次元シーンフロー推定が向上するか？
• RQ2 位置に敏感なマッチングコスト集約を組み込むことで、フローパredictionのロバスト性と精度はどのように変化するか？
• RQ3 領域レベルの剛体性をモデル化する高次CRF項は、従来のペairwise項や単純な領域平均平滑化項を上回る性能を発揮するか？
• RQ4 提案されたCon-HCRFsモジュールは、既存のディープラーニングベースのシーンフローアーキテクチャに効果的にプラグイン可能か？
• RQ5 提案手法の計算効率と標準ベンチマーク上でのスケーラビリティはいかがなっているか？

主な発見

• HCRF-Flow は、FlyingThings3D で 95.07% の Acc3DR、KITTI で 94.44% を達成し、最先端の性能を実現し、先行手法を顕著に上回った。
• アブレーションスタディの結果、PAFE-S モジュールに高次項を追加することで Acc3DS が +4.43% 向上し、単純な領域平滑化手法に比べてその有効性が明確に示された。
• PAFE と Con-HCRFs の共同最適化により、PAFE-S ベースラインから Acc3DS が 6.21 パcentage points 向上し、さらなる性能向上が確認された。
• Con-HCRFs モジュールは 1080Ti GPU 上で 1 シーン（8192 ポイント）あたり 228.2ms で実行可能であり、高次項の寄与はわずか 100.8ms にとどまり、効率的なスケーラビリティを示した。
• スーパーベクセルサイズに対してロバストであり、1 ベクセルあたり 140〜200 ポイントを含む際に最適な性能を発揮し、EPE3D は 0.0782 を達成した。
• 高次剛体運動項を単純な領域平均項に置き換えると、Acc3DS が 1.98% 劣化し、提案手法の剛体性モデリングの優位性が裏付けられた。