[論文レビュー] Efficient Bird Eye View Proposals for 3D Siamese Tracking

Jesús Zarzar, Silvio Giancola+1 more|arXiv (Cornell University)|Mar 25, 2019

Video Surveillance and Tracking Methods参考文献 31被引用数 31

ひとこと要約

本論文では、LIDAR点群における探索空間の複雑さを低減するために、領域提案ネットワーク（RPN）によって生成されたビューアー・エイド・ビュー（BEV）提案を用いた、効率的な3次元車両追跡フレームワークを提案する。BEVと3次元特徴量の両方で形状補完正則化を施した3次元シアンプスネットワークを共同で訓練することで、16の候補のみを用いても、先行研究に比べ12%高いSuccessと18%高いPrecisionを達成した。

ABSTRACT

Tracking vehicles in LIDAR point clouds is a challenging task due to the sparsity of the data and the dense search space. The lack of structure in point clouds impedes the use of convolution filters usually employed in 2D object tracking. In addition, structuring point clouds is cumbersome and implies losing fine-grained information. As a result, generating proposals in 3D space is expensive and inefficient. In this paper, we leverage the dense and structured Bird Eye View (BEV) representation of LIDAR point clouds to efficiently search for objects of interest. We use an efficient Region Proposal Network and generate a small number of object proposals in 3D. Successively, we refine our selection of 3D object candidates by exploiting the similarity capability of a 3D Siamese network. We regularize the latter 3D Siamese network for shape completion to enhance its discrimination capability. Our method attempts to solve both for an efficient search space in the BEV space and a meaningful selection using 3D LIDAR point cloud. We show that the Region Proposal in the BEV outperforms Bayesian methods such as Kalman and Particle Filters in providing proposal by a significant margin and that such candidates are suitable for the 3D Siamese network. By training our method end-to-end, we outperform the previous baseline in vehicle tracking by 12% / 18% in Success and Precision when using only 16 candidates.

研究の動機と目的

• スパースなLIDAR点群における3次元探索の非効率性と高い計算コストを解消すること。
• カルマンフィルターやパーティクルフィルターといった伝統的なフィルタが、3次元追跡のための信頼できる提案を生成する点で抱える制限を克服すること。
• 構造的かつ密度の高いBEV表現を活用し、高速かつ効果的な領域提案生成を可能にすること。
• 2次元BEV提案と3次元シアンプス特徴学習、および形状補完正則化を組み合わせることで、識別性と追跡精度を向上させること。
• 2本のブランチを持つシアンプスネットワークのエンドツーエンド学習を可能にし、提案生成と類似度メトリクスの両方を同時に学習すること。

提案手法

• 空間構造を活用しスパarsityを低減するため、生のLIDAR点群を密度の高い2次元ビューアー・エイド・ビュー（BEV）表現に変換する。
• BEV特徴マップ上に領域提案ネットワーク（RPN）を配置し、効率的に少数の3次元バウンディングボックス候補を生成する。
• 2次元BEVと3次元点群特徴量の両方を処理する2本のブランチを持つシアンプスネットワークを訓練し、追跡のための類似度メトリクスを学習する。
• 3次元シアンプスブランチに形状補完損失を正則化することで、特徴量の識別性を高め、部分的な点群に対してもロバスト性を向上させる。
• RPNとシアンプスネットワークのエンドツーエンド学習を実施し、提案生成と追跡性能の両方を同時に最適化する。
• 3次元シアンプスネットワークを用いて、学習された類似度スコアに基づきRPNが生成した候補の中から最良のものを精査・選択する。

実験結果

リサーチクエスチョン

• RQ1 2次元ビューアー・エイド・ビュー（BEV）空間における領域提案ネットワーク（RPN）は、LIDARデータにおける3次元車両追跡において、カルマンフィルターやパーティクルフィルターに比べ、より効果的かつ効率的な提案を生成できるか？
• RQ2 2次元BEV提案と3次元シアンプス特徴学習を組み合わせることで、全検索やフィルタリングベースの手法と比較して、追跡精度とロバスト性がどの程度向上するか？
• RQ3 3次元シアンプスネットワークにおける形状補完正則化は、スパースまたは部分的に観測された点群において、特徴量の識別能力と追跡性能にどのような影響を与えるか？
• RQ4 最小限の候補数（例：16）で、リアルタイム実行が可能な状態で、提案手法が最先端の性能を達成できるか？
• RQ5 2次元BEV表現は、十分な3次元幾何的情報を保持しつつ、高速で密度の高い探索を可能にする点で、果たす役割は何か？

主な発見

• BEV空間におけるRPNは、カルマンフィルターやパーティクルフィルターに比べ、提案品質が優れており、16の候補のみを用いても顕著に高いSuccessとPrecisionスコアを達成した。
• 提案手法は、16の提案のみを用いても、先行研究の最良のベースラインに比べ、Successで12%、Precisionで18%高い性能を発揮した。
• BEV RPNの提案と3次元シアンプス特徴学習の組み合わせにより、自動車、自転車、歩行者といったすべてのクラスで正確な追跡が可能となり、一貫した向上が得られた。
• 3次元シアンプスネットワークにおける形状補完正則化は、部分的に観測された点群やスパースな点群において、特徴量の識別性を向上させた。
• エンドツーエンド学習において、本手法は迅速に収束した。これは、ImageNetやKITTIの事前学習済み特徴量が強力な初期化を提供しており、共同最適化にほとんど必要な調整が不要であることを示している。
• 角度回帰は性能向上に寄与しなかった。2.5度のアンカーレゾリューションがすでに十分であり、回帰を追加することで複雑性が増すだけで効果が得られなかった。