[論文レビュー] FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation

Yair Kittenplon, Yonina C. Eldar+1 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Vision and Imaging参考文献 45被引用数 9

ひとこと要約

FlowStep3D は、強力な正則化と軽量なすべてのペア間相関メカニズムを用いて、反復的に流れの予測を改善する再帰的かつモデルアンロールドアーキテクチャを提案する。合成データの FlyingThings3D でのみ学習させた結果、自己教師あり KITTI ベンチマークで最先端の性能を達成し、実世界の LiDAR スキャンへの一般化性能が前例を上回る50%以上向上した。

ABSTRACT

Estimating the 3D motion of points in a scene, known as scene flow, is a core problem in computer vision. Traditional learning-based methods designed to learn end-to-end 3D flow often suffer from poor generalization. Here we present a recurrent architecture that learns a single step of an unrolled iterative alignment procedure for refining scene flow predictions. Inspired by classical algorithms, we demonstrate iterative convergence toward the solution using strong regularization. The proposed method can handle sizeable temporal deformations and suggests a slimmer architecture than competitive all-to-all correlation approaches. Trained on FlyingThings3D synthetic data only, our network successfully generalizes to real scans, outperforming all existing methods by a large margin on the KITTI self-supervised benchmark.

研究の動機と目的

• 学習ベースの 3D スポーツフロー推定における一般化性能の低さ、特に大規模な変形やスパarsな LiDAR データ下での課題を解決すること。
• 実世界のアノテーションに依存せずに、自己教師あり 3D 動作推定のロバスト性と正確性を向上させること。
• すべてのペア間相関手法と比較して、高い性能を維持しながらメモリ消費量を低減すること。
• 微調整なしに、合成データ（FlyingThings3D）から実世界の LiDAR スキャン（KITTI）への有効な一般化を可能にすること。

提案手法

• 本手法は、反復的精錬プロセスを K 回の反復でアンロールする再帰的アーキテクチャを採用し、1ステップずつ学習する。
• 最初に低解像度でのグローバル相関ユニットで流れを計算し、その後 GRU を用いた更新ユニットにより反復的精錬を実行する。
• 各反復で、ワープされたソース点群を再エンコードし、強い正則化によって構造的一致性を強制する。
• 過剰正則化（半剛体運動）や不足正則化（構造的歪み）を防ぐために、学習可能な損失重み（αk, βk）を用いて正則化を適用する。
• すべてのペア間相関は、低解像度のグローバル特徴空間で実行され、高解像度の代替手法と比較してメモリ消費量を削減する。
• 幾何的一致性と流れの正則化を用いて、自己教師ありでエンドツーエンドに学習させ、実データへのゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり 3D スポーツフロー推定において、エンドツーエンド学習と比較して、再帰的かつモデルアンロールドアーキテクチャが一般化性能を向上させ得るか？
• RQ2 強い正則化を伴う反復的精錬は、大規模な変形やスパースな LiDAR データ下での性能をどのように向上させるか？
• RQ3 微調整なしに、合成データ（FlyingThings3D）で学習したネットワークが、実世界の KITTI スキャンへどの程度一般化できるか？
• RQ4 反復的流れ精錬における正則化強度と動きの正確性の最適なトレードオフは何か？
• RQ5 高メモリ消費の相関手法と比較して、軽量なすべてのペア間相関メカニズムが、高い正確性を維持しながら優れているか？

主な発見

• 自己教師ありの FlowStep3D は、KITTI ベンチマークで EPE3D 0.1443 を達成し、すべての既存の自己教師あり手法と比較して、一般化性能が50%以上優れている。
• すべての自己教師あり手法の中で、FlyingThings3D における 10m 未満の EPE3D が最低水準で、EPE3D 0.1443 を達成した。
• 完全教師ありバージョンは、最先端手法 FLOT と同等の性能を達成し、メモリ消費量を抑え、オーバーライアントレートも低く抑えている。
• 反復的精錬の恩恵を受ける：4回以上の反復による推論は、特に KITTI において性能をさらに向上させる。
• 過剰正則化ではオーバーライアントレートが 0.8941 に上昇し、不足正則化では EPE3D が 0.3183 に上昇するため、最適な正則化重みの重要性が確認された。
• 全結合層の代わりに GRU を使用することで、一般化性能が40%向上し、GRU 入力にフローベクトルのみを用いると誤差が30%増加した。