[論文レビュー] GMSF: Global Matching Scene Flow

Yushan Zhang, Johan Edstedt+4 more|arXiv (Cornell University)|May 27, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

GMSF は、ハイブリッドな局所・グローバル・クロストランスフォーマー・アーキテクチャを用いて強固な特徴を抽出し、マッチングに完全に特徴類似度に依存する、1スケール・ワンショットのグローバルマッチング手法を提案する。3次元点群からのシーンフロー推定において、SOTAの性能を達成し、FlyingThings3Dではオーバーラップ率が5.6%に低下し、KITTIおよびWaymo-Openベンチマークでも先行手法を上回る。

ABSTRACT

We tackle the task of scene flow estimation from point clouds. Given a source and a target point cloud, the objective is to estimate a translation from each point in the source point cloud to the target, resulting in a 3D motion vector field. Previous dominant scene flow estimation methods require complicated coarse-to-fine or recurrent architectures as a multi-stage refinement. In contrast, we propose a significantly simpler single-scale one-shot global matching to address the problem. Our key finding is that reliable feature similarity between point pairs is essential and sufficient to estimate accurate scene flow. We thus propose to decompose the feature extraction step via a hybrid local-global-cross transformer architecture which is crucial to accurate and robust feature representations. Extensive experiments show that the proposed Global Matching Scene Flow (GMSF) sets a new state-of-the-art on multiple scene flow estimation benchmarks. On FlyingThings3D, with the presence of occlusion points, GMSF reduces the outlier percentage from the previous best performance of 27.4% to 5.6%. On KITTI Scene Flow, without any fine-tuning, our proposed method shows state-of-the-art performance. On the Waymo-Open dataset, the proposed method outperforms previous methods by a large margin. The code is available at https://github.com/ZhangYushan3/GMSF.

研究の動機と目的

• 既存のシーンフロー手法におけるマルチステージのリファインメントの限界、特に高速移動や隠蔽の処理における課題を解決すること。
• 複雑な粗いから細かいまたは反復的なアーキテクチャを単一スケール・ワンショットのグローバルマッチングフレームワークに置き換えることで、シーンフロー推定を簡素化すること。
• 信頼性の高い特徴類似度が、正確なシーンフロー推定に本質的かつ十分であることを示すこと。
• クロス特徴および自己類似度行列に従うグローバルマッチングによって、隠蔽や大規模な動きの下でも耐性と正確性を向上させること。
• 微調整なしに、FlyingThings3D、KITTI Scene Flow、Waymo-Openを含む多様なベンチマークでSOTAの一般化性能を達成すること。

提案手法

• 局所幾何的文脈とグローバルおよびクロスモード表現を組み合わせた、高品質で強固な3次元点群特徴を抽出するために、ハイブリッドな局所・グローバル・クロストランスフォーマー・アーキテクチャが用いられる。
• グローバルマッチングプロセスによりシーンフローが推定され、クロス特徴類似度行列を用いて、ソース点からターゲット点への変位ベクトルの重み付き平均が計算される。
• グローバルマッチングプロセスは、短距離および長距離の対応関係を捉え、高速移動物体や大規模な変位の効果的処理を可能にする。
• リファインメント段階では、自己特徴類似度行列を用いて、類似した特徴を持つ領域での滑らかさを強制し、隠蔽領域へのフロー伝搬を可能にする。
• マッチングに完全に特徴類似度に依存するため、反復的リファインメントやマルチスケールの監視の必要がなくなる。
• 標準的な指標（EPE3D、精度、オーバーラップ率）を用いて、合成データセット上でグランドトゥルース・シーンフローを用いてエンドツーエンドで訓練される。

Figure 1: Method Overview. We propose a simple yet powerful method for scene flow estimation. In the first stage (see Section 3.1 ) we propose a strong local-global-cross transformer architecture that is capable of extracting robust and highly localizable features. In the second stage (see Section 3

実験結果

リサーチクエスチョン

• RQ1 単一スケール・ワンショットのグローバルマッチングアプローチは、3次元シーンフロー推定において、マルチステージのリファインメント手法を上回ることができるか？
• RQ2 信頼性の高い特徴類似度のみで、正確かつ耐性のあるシーンフロー推定が達成可能か？
• RQ3 局所的・グローバル的・クロスアテンション機構の統合が、シーンフローの特徴表現においてどれほど重要か？
• RQ4 明示的なマルチスケールまたは反復的リファインメントなしに、グローバルマッチングがどれほど大規模な動きや隠蔽を処理できるか？
• RQ5 提案手法は、FlyingThings3D、KITTI Scene Flow、Waymo-Openのような多様なベンチマークに効果的に一般化できるか？

主な発見

• FlyingThings3Dでは、GMSFがオーバーラップ率を5.6%まで低下させ、以前のSOTA（27.4%）を著しく上回った。
• KITTI Scene Flowでは、微調整なしにSOTAの性能を達成し、優れた一般化能力を示した。
• Waymo-Openデータセットでは、前例のない大きな差をつけて以前の手法を上回り、実世界の複雑さに対しても強い耐性を示した。
• アブレーションスタディにより、トークン化における局所情報（DGCNN や PointNet を用いて）が不可欠であることが確認され、PointNet や MLP のみでは性能が著しく低下した。
• 128次元の特徴次元が最適な性能を発揮し、32次元に減少させると精度が著しく低下した。
• グローバル・クロストランスフォーマースタックは不可欠である：これを除去すると性能が著しく低下し、長距離依存性の捉え方におけるその役割が明確になった。

Figure 2: Transformer Architecture . Detailed local (left), global (middle), and cross (right) transformer architecture. The local transformer incorporates attention within a small number of neighbors. The global transformer is applied on the source and target points separately and incorporates atte