[論文レビュー] Vehicle Re-ID for Surround-view Camera System

Zizhang Wu, Man Wang+4 more|arXiv (Cornell University)|Jun 30, 2020

Video Surveillance and Tracking Methods参考文献 28被引用数 4

ひとこと要約

本論文は、魚眼歪み、隠蔽、視点変化といった課題に対処する、周囲視界の魚眼カメラシステム向けの包括的な車両再識別（Re-ID）ソリューションを提示する。トラッキングのずれを低減するための品質評価メカニズムと、アテンションベースの特徴学習を用いた空間制約戦略を導入し、新たに公開された大規模な魚眼Re-IDデータセットにおいて、リアルタイムで最先端の精度を達成した。

ABSTRACT

The vehicle re-identification (ReID) plays a critical role in the perception system of autonomous driving, which attracts more and more attention in recent years. However, to our best knowledge, there is no existing complete solution for the surround-view system mounted on the vehicle. In this paper, we argue two main challenges in above scenario: i) In single camera view, it is difficult to recognize the same vehicle from the past image frames due to the fisheye distortion, occlusion, truncation, etc. ii) In multi-camera view, the appearance of the same vehicle varies greatly from different camera's viewpoints. Thus, we present an integral vehicle Re-ID solution to address these problems. Specifically, we propose a novel quality evaluation mechanism to balance the effect of tracking box's drift and target's consistency. Besides, we take advantage of the Re-ID network based on attention mechanism, then combined with a spatial constraint strategy to further boost the performance between different cameras. The experiments demonstrate that our solution achieves state-of-the-art accuracy while being real-time in practice. Besides, we will release the code and annotated fisheye dataset for the benefit of community.

研究の動機と目的

• 自動運転における周囲視界のマルチカメラシステム向けに、包括的なRe-IDソリューションが不足しているという問題に対処すること。
• 単一カメラの視界における魚眼歪み、隠蔽、断片化によって引き起こされるトラッキングのずれを軽減すること。
• 視点の違いと車両の類似性によって生じるカメラ間の外観差を低減すること。
• マルチカメラ環境におけるアテンション機構と空間制約を活用して、Re-IDの精度を向上させること。
• 本分野の研究を前進させるために、大規模なアノテート済み魚眼データセットを公開すること。

提案手法

• 境界ボックスの信頼性をIoUと信頼度スコアを用いて評価する品質評価メカニズムを設計し、単一カメラトラッキングにおけるターゲットのずれを低減した。
• 単一カメラRe-IDにはSiamRPN++を、マルチカメラRe-IDにはBDBnetを採用し、識別的な車両領域に注目できるようにアテンションモジュールを統合した。
• 複数のカメラ間で幾何学的整合性を強制することで、Re-ID結果の正則化を図る、新しい空間制約戦略を導入した。
• IoUと信頼度指標を用いたテンプレート更新により、時間経過に伴うトラッキング安定性を向上させた。
• 隠蔽された車両については、最大Nフレーム分だけテンプレート更新を延期し、N=4が一貫性の観点で最適であることが判明した。
• SGDを用いて学習したRe-IDモデルは、クロスエントロピー損失とトリプレット損失の組み合わせを採用し、バッチ正則化とデータ拡張を適用した。

実験結果

リサーチクエスチョン

• RQ1 魚眼歪みと隠蔽によって引き起こされる単一カメラ車両Re-IDにおけるトラッキングのずれを、どのように効果的に軽減できるか？
• RQ2 大きな視点変化下でも、アテンション機構が車両Re-IDの特徴学習をどの程度向上させられるか？
• RQ3 複数の魚眼カメラ間の空間制約を組み込むことで、マルチカメラRe-ID性能はどの程度向上するか？
• RQ4 一時的な隠蔽に対処するバランスと、アイデンティティの一貫性を維持するバランスは、どのように最適化できるか？
• RQ5 新規に公開された大規模な魚眼Re-IDデータセットは、この分野における最先端技術を顕著に前進させられるか？

主な発見

• IoUと信頼度スコアを用いた品質評価メカニズムにより、フロントカメラではアイデンティティ一貫性（IC）が0.82から0.94に向上し、右カメラでは0.97に達した。
• N=4フレームを用いた隠蔽対処法が最良のバランスを実現し、アイデンティティの切り替えを低減しながらも、トラッキングの安定性を維持した。
• アテンションモジュールの導入により、フロントカメラのICは0.84から0.87に向上し、空間制約と組み合わせると0.94にまで上昇した。
• アテンションと空間制約を統合した完全なシステムは、フロント、左、右カメラでそれぞれICスコア0.94、0.96、0.97を達成した。
• 提案手法はベースラインモデルを上回り、実用的なリアルタイム性を保ちながらも、最先端の精度を達成した。
• 著者らは、36のシーケンスに跨り22,190枚の画像を含む大規模なアノテート済み魚眼データセットを公開し、今後の研究を支援した。