[論文レビュー] Learning Deep Neural Networks for Vehicle Re-ID with Visual-spatio-temporal Path Proposals

Yantao Shen, Tong Xiao+3 more|arXiv (Cornell University)|Aug 13, 2017

Video Surveillance and Tracking Methods参考文献 33被引用数 32

ひとこと要約

本論文は、視覚的・時空間的パス提案を活用してマッチング精度を向上させる二段階のディープラーニングフレームワークを提案する。チェーンMRFと深層ポテンシャル関数を用いて候補パスを生成し、その後、シamese-CNNとPath-LSTMを組み合わせて類似度スコアを計算する。VeRi-776データセットにおいて、パス提案の品質に関して平均ジャッカード類似度が96.39%を達成し、最先端の性能を発揮した。

ABSTRACT

Vehicle re-identification is an important problem and has many applications in video surveillance and intelligent transportation. It gains increasing attention because of the recent advances of person re-identification techniques. However, unlike person re-identification, the visual differences between pairs of vehicle images are usually subtle and even challenging for humans to distinguish. Incorporating additional spatio-temporal information is vital for solving the challenging re-identification task. Existing vehicle re-identification methods ignored or used over-simplified models for the spatio-temporal relations between vehicle images. In this paper, we propose a two-stage framework that incorporates complex spatio-temporal information for effectively regularizing the re-identification results. Given a pair of vehicle images with their spatio-temporal information, a candidate visual-spatio-temporal path is first generated by a chain MRF model with a deeply learned potential function, where each visual-spatio-temporal state corresponds to an actual vehicle image with its spatio-temporal information. A Siamese-CNN+Path-LSTM model takes the candidate path as well as the pairwise queries to generate their similarity score. Extensive experiments and analysis show the effectiveness of our proposed method and individual components.

研究の動機と目的

• 再識別タスクにおける車両間の微細な視覚的差異の課題に対処すること。
• マッチングの信頼性を向上させるために、車両画像間の複雑な時空間的関係を統合すること。
• 視覚的・時空間的パスを構造的事前分布としてモデル化し、車両再識別における正則化に活用すること。
• 単なるペairワイズ類似度を越えた時空間的ダイナミクスを効果的に捉えるディープラーニングベースの手法を開発すること。

提案手法

• クエリ画像ペアから候補の視覚的・時空間的パスを生成するために、深く学習されたペアワイズポテンシャル関数を備えたチェーンマルコフ確率的場（MRF）モデルを用いる。
• パス内の各視覚的・時空間的状態は、その空間的・時間的座標を持つ車両画像に対応する。
• クエリ画像ペアおよび候補パスからの深層特徴を抽出するために、シamese-CNNを用いる。
• パスに沿った視覚的・時空間的状態の系列を処理し、パスの妥当性を推定し、類似度スコアを精緻化するためにPath-LSTMネットワークを用いる。
• パス提案生成のためのチェーンMRFを効率的に最適化するために、max-sumアルゴリズムを適用する。
• 特徴学習とパス妥当性スコアリングを同時に最適化できるように、シamese-CNNとPath-LSTMをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 構造的な視覚的・時空間的パス提案は、外観のみに依存するマッチングを上回る車両再識別性能を向上させることができるか？
• RQ2 深層ニューラルネットワークは、パス生成のための複雑な時空間的ポテンシャル関数をどれほど効果的にモデル化できるか？
• RQ3 Path-LSTMによるパス妥当性の組み込みは、直接的なシamese-CNNマッチングと比較して、類似度推定にどの程度寄与するか？
• RQ4 パス提案の品質が最終的な再識別精度にどの程度影響を与えるか？

主な発見

• 提案手法はVeRi-776データセットで最先端の性能を達成し、チェーンMRFベースラインと比較してmAPが10%向上、トップ1精度が25%向上した。
• Path-LSTMコンponent単体でも、チェーンMRFと比較してmAPが10%向上、トップ1精度が25%向上し、正則化事前分布としての有効性が示された。
• シamese-CNN+Path-LSTMモデルは、シamese-Visualと比較してmAPで約25%、トップ1精度で約40%向上し、時空間モデリングの重要性が顕著に示された。
• 深層ポテンシャル関数を備えたチェーンMRFは、正解パスとの比較において平均ジャッカード類似度（AJS）が96.39%を達成し、高品質なパス提案生成が可能であることを示した。
• パイプラインにおけるResNet50をVGG16に置き換えても、VGG16ベースラインと比較して優れた性能を発揮した。これにより、フレームワークの堅牢性が確認された。
• 1つのクエリペアあたりの平均推論時間は0.016秒にとどまり、効率的な計算アモアタイゼーションのおかげで、大規模な展開において実用的であることが示された。