[論文レビュー] Deep Hybrid Similarity Learning for Person Re-identification

Jianqing Zhu, Huanqiang Zeng+4 more|arXiv (Cornell University)|Feb 16, 2017

Video Surveillance and Tracking Methods参考文献 24被引用数 4

ひとこと要約

本稿では、深層特徴の要素ごとの絶対差と乗算を組み合わせたハイブリッド類似度関数を学習することで、類似度測定を向上させるCNNベースの手法であるDeep Hybrid Similarity Learning (DHSL)を提案する。この手法は、軽量な3層畳み込みネットワークを用いて最先端の性能を達成しており、従来手法よりも著しく高速な推論を実現する。

ABSTRACT

Person Re-IDentification (Re-ID) aims to match person images captured from two non-overlapping cameras. In this paper, a deep hybrid similarity learning (DHSL) method for person Re-ID based on a convolution neural network (CNN) is proposed. In our approach, a CNN learning feature pair for the input image pair is simultaneously extracted. Then, both the element-wise absolute difference and multiplication of the CNN learning feature pair are calculated. Finally, a hybrid similarity function is designed to measure the similarity between the feature pair, which is realized by learning a group of weight coefficients to project the element-wise absolute difference and multiplication into a similarity score. Consequently, the proposed DHSL method is able to reasonably assign parameters of feature learning and metric learning in a CNN so that the performance of person Re-ID is improved. Experiments on three challenging person Re-ID databases, QMUL GRID, VIPeR and CUHK03, illustrate that the proposed DHSL method is superior to multiple state-of-the-art person Re-ID methods.

研究の動機と目的

• CNNベースの人物再識別手法における特徴学習とメトリック学習の間のアンバランスを解消すること。
• 深層特徴の絶対差と乗算を組み合わせた学習可能なハイブリッド類似度関数を設計することで、類似度測定を向上させること。
• 特徴学習モジュールおよびメトリック学習モジュールにおけるパラメータ効率の最適化により、大規模な学習データへの依存度を低減すること。
• 推論コストを低く抑えながら高い精度を達成し、リアルタイムデプロイメントを可能とすること。

提案手法

• 計算コストを最小限に抑えるために、特徴抽出にわずか3層の畳み込み層を有する軽量CNNを用いる。
• 各画像ペアに対して、ネットワークは特徴ペアを抽出し、それらの特徴の要素ごとの絶対差と要素ごとの乗算を計算する。
• 連結された差分および乗算特徴を、トレーニング可能な重み係数を適用することで、最終的な類似度スコアに射影するハイブリッド類似度関数を学習する。
• エンドツーエンドの学習により、単純なユークリッド距離やコサイン類似度よりも識別力を向上させるために、ハイブリッド類似度関数を最適化する。
• 特徴学習とメトリック学習を同時に最適化することで、次元削減や後処理を別途行う必要がなくなる。
• 分類境界の分離を強化するために、標準的なバックプロパゲーションを用いて三重損失または対照損失でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 絶対差と乗算を組み合わせた学習可能なハイブリッド類似度関数は、標準的な距離メトリクスよりも人物再識別精度を向上させるか？
• RQ2 わずか3層の畳み込み層を有する軽量CNNは、計算コストを低減しつつも競争力のある性能を達成できるか？
• RQ3 提案手法の性能は、学習データセットサイズの変化にどのように応じて変化するか？
• RQ4 DHSLの推論速度は、最先端のRe-ID手法と比較して、特徴抽出および類似度計算の面でどの程度優れているか？

主な発見

• QMUL GRIDデータセットでは、200人の学習対象でのRank-1正解率が44.87%に達し、MLAPG、XQDA、MRank-RankSVMなどの手法を上回った。
• VIPeRデータセットでは、316人の学習対象でのRank-1正解率が44.87%に達し、KISSME、DML、IDLAを上回り、MTL-LORAEやDeep RDCと同等またはそれを上回った。
• QMUL GRIDで75人の学習対象でのみ実行した場合でも、XQDAやMRank-RankSVMを上回る性能を示し、データ依存性が低いことを実証した。
• CPU上でのDHSLの特徴抽出時間（FET）は1画像あたり4.9781 msであり、LOMOの10.1297 msの半分未満で、JSTL+DGDの111.0322 msの4.48%にとどまった。
• CPU上での類似度計算時間（SCT）は1ペアあたり0.0373 msであり、JSTL+DGDの5.9347 msよりも著しく高速であった。
• CPU上でのDHSLのFET + SCTは、LOMOの時間の半分未満であり、JSTL+DGDのFETの9.28%にとどまり、高い効率性を確認した。