[論文レビュー] Weakly Supervised Learning of Rigid 3D Scene Flow

Leonidas Guibas, Tolga Birdal+3 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Vision and Imaging参考文献 88被引用数 4

ひとこと要約

この論文は、3Dシーンフロー推定のための弱教師付き深層学習手法を提案しており、シーンを剛体運動する物体としてモデル化し、密度の高いフローサンプルの代わりに二値の前景/背景マスクと自己運動アノテーションのみを用いる。オブジェクトレベルでの剛体性を強制し、テスト時最適化を導入することで、複数の自動運転ベンチマークで最先端の性能を達成し、KITTIでは従来手法と比較してエンドポイント誤差を30cm以上低減した。

ABSTRACT

We propose a data-driven scene flow estimation algorithm exploiting the observation that many 3D scenes can be explained by a collection of agents moving as rigid bodies. At the core of our method lies a deep architecture able to reason at the extbf{object-level} by considering 3D scene flow in conjunction with other 3D tasks. This object level abstraction, enables us to relax the requirement for dense scene flow supervision with simpler binary background segmentation mask and ego-motion annotations. Our mild supervision requirements make our method well suited for recently released massive data collections for autonomous driving, which do not contain dense scene flow annotations. As output, our model provides low-level cues like pointwise flow and higher-level cues such as holistic scene understanding at the level of rigid objects. We further propose a test-time optimization refining the predicted rigid scene flow. We showcase the effectiveness and generalization capacity of our method on four different autonomous driving datasets. We release our source code and pre-trained models under \url{github.com/zgojcic/Rigid3DSceneFlow}.

研究の動機と目的

• 高価な密度の高いフローサンプルに依存しない最小限の監視で正確な3Dシーンフロー推定を達成する課題に対処すること。
• オブジェクトの剛体変換としての運動をモデル化することで、動的3Dシーン理解における一般化性と頑健性を向上させること。
• 密度の高いシーンフローのアノテーションが欠落している大規模な実世界データセットにおける有効な訓練と推論を可能にすること。
• 低レベルのフローと高レベルのシーン理解を両立できる解釈可能なオブジェクトレベルのシーン表現を提供すること。

提案手法

• この手法は、シーンを前景（剛体運動するオブジェクト）と背景（静的）に分解し、背景のフローを自己運動として、前景のフローを個々のオブジェクトごとの剛体変換としてモデル化する。
• 深層ニューラルネットワークが各セグメンテッドな剛体エージェントの変換パラメータ（回転と並進）を予測し、これによりポイント単位の剛体シーンフローを計算する。
• ネットワークは、通常IMUやシンプルなセグメンテーションから得られる二値インスタンスマスクと自己運動データのみを用いた弱教師付き学習で訓練される。
• テスト時最適化により、オブジェクトレベルの変換とポイントワイドなフローアライメントを同時に最適化することで、予測された剛体シーンフローを精緻化する。
• 外れ値を低減するためにスラック行と列を備えたエントロピー正則化Sinkhornアルゴリズムを用いて、頑健な自己運動推定のためのソフト対応マップを計算する。
• アーキテクチャは柔軟であり、セマンティックセグメンテーションやインスタンスレベルの剛体性損失など、複数の3Dタスクに適応可能である。

実験結果

リサーチクエスチョン

• RQ1 密度の高いフローサンプルではなく、二値の前景/背景マスクと自己運動アノテーションのみで、3Dシーンフロー推定を効果的に学習できるか？
• RQ2 ポイント単位のフローパラメータを自由に予測するのではなく、オブジェクトの剛体変換として運動をモデル化することで、フローアクキュラシーと一般化性能がどのように向上するか？
• RQ3 テスト時最適化は、予測されたシーンフローをどの程度精緻化し、連続するLiDARフレーム間のアライメントを改善するか？
• RQ4 インスタンスマスクのアノテーションがノイジーまたは欠落している状況でも、この手法は新しいデータセットにどの程度一般化可能か？

主な発見

• KITTIデータセットでは、従来の最先端手法と比較してエンドポイント誤差が30cm以上低減され、顕著な性能向上が確認された。
• トレーニング時および推論時においても、真値のインスタンスマスクが存在しない状況でも、GTマスクを用いたモデルと同等の性能を達成しており、非教師付きクラスタリング戦略の有効性が裏付けられた。
• アブレーションスタディにより、Sinkhornアルゴリズムが自己運動推定を顕著に改善し、原始的な類似度行列を用いた場合と比較してRTEとRREが40%以上低減された。
• Waymo Openデータセットでのファインチューニングにより、センサに近いオブジェクトやオブジェクト数が多いシーンのロバストネスが向上し、直接の一般化を上回る性能を示した。
• 追加のファインチューニングなしでWaymo Openデータセットに効果的に一般化され、強力なゼロショット転送能力を示した。
• 失敗事例は、主にlidarKITTIにおけるノイズの多い真値アノテーション（例：誤ったオブジェクト境界）や、Waymoにおけるレアな／めったに見られないオブジェクトに起因しており、モデル自体の限界とは無関係であった。