[論文レビュー] Multi-scale Deep Learning Architectures for Person Re-identification

Xuelin Qian, Yanwei Fu+3 more|arXiv (Cornell University)|Sep 15, 2017

Video Surveillance and Tracking Methods参考文献 33被引用数 37

ひとこと要約

本稿では、複数の空間スケールで判別的な特徴を明示的に学び、サリエンシーに基づく融合層を用いてそれらを適応的に統合する、人物再識別を目的としたマルチスケールディープラーニングアーキテクチャであるMuDeepを提案する。モデルはCUHK01、PRID-2011、iLIDS-VIDで最先端の手法を上回り、CUHK01では79.01%のランク-1精度、PRID-2011では65%を達成し、マルチスケール特徴学習とアテンション駆動型融合による優れた性能を示している。

ABSTRACT

Person Re-identification (re-id) aims to match people across non-overlapping camera views in a public space. It is a challenging problem because many people captured in surveillance videos wear similar clothes. Consequently, the differences in their appearance are often subtle and only detectable at the right location and scales. Existing re-id models, particularly the recently proposed deep learning based ones match people at a single scale. In contrast, in this paper, a novel multi-scale deep learning model is proposed. Our model is able to learn deep discriminative feature representations at different scales and automatically determine the most suitable scales for matching. The importance of different spatial locations for extracting discriminative features is also learned explicitly. Experiments are carried out to demonstrate that the proposed model outperforms the state-of-the art on a number of benchmarks

研究の動機と目的

• 既存のディープラーニング再識別モデルが単一スケールでの処理にとどまり、微細な局所的差を十分に活用できないという限界を解決すること。
• 人間が視覚的マッチングを行う際の方法に倣い、複数の空間スケールで判別的な特徴を学習すること。
• 学習可能なアテンション機構を用いて、マッチングに最も関連するスケールおよび空間的位置を自動で同定すること。
• サリエンシーに基づく融合層を用いてマルチスケール特徴を統合することで、特徴表現を向上させること。
• 中間層における補助分類損失を用いて、マルチスケール特徴学習の訓練を強化すること。

提案手法

• 入力画像の複数の空間スケールから特徴を抽出するマルチスケールストリーム層を備えた、シアンプスネットワークベースのアーキテクチャを提案する。
• チャネル単位の重要度重みを学習することで、マルチスケール特徴を適応的に統合するサリエンシーに基づく学習融合層を導入する。
• マルチスケール特徴学習のための強化された監視を実現するため、中間層に補助分類損失を適用する。
• 各ブランチが入力画像の異なるスケールを処理する多ブランチネットワーク設計を採用する。
• 特徴学習とマッチングを同時に最適化できるように、検証損失と分類損失の組み合わせを用いたエンドツーエンド学習を実施する。
• 最終的なマッチングのため、異なるスケールからの出力を組み合わせるための特徴連結および統合戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 複数の空間スケールで特徴を学習するディープラーニングモデルは、単一スケールの再識別モデルを上回ることができるか？
• RQ2 モデルは、人物マッチングに最も判別的なスケールおよび空間的位置を、自動的に同定できるか？
• RQ3 固定または平均的統合と比較して、サリエンシーに基づく特徴統合は再識別性能を向上させるか？
• RQ4 中間層における補助分類損失は、マルチスケール特徴学習をどの程度向上させるか？
• RQ5 提案されたマルチスケールアーキテクチャは、解像度や環境条件が異なる多様な再識別ベンチマークに一般化できるか？

主な発見

• MuDeepはCUHK01データセットで79.01%のランク-1精度を達成し、Inception A、Inception Bおよびそれらのアンサンブルを含むすべてのベースラインモデルを上回った。
• アブレーションスタディの結果、サリエンシーに基づく融合層または分類サブネットを削除すると性能が低下し、フルモデルが最も優れた結果を達成した。
• PRID-2011データセットでは、MuDeepは65%のランク-1精度を達成し、大多数の既存の動画ベース再識別モデルを上回り、次に良い手法よりも15ポイントも優れていた。
• iLIDS-VIDでは、MuDeepは41%のランク-1精度を達成し、ベースライン手法（DDC: 28%、VR: 42%）よりも顕著に優れていた。
• アブレーションスタディにより、サリエンシーに基づく融合層と分類サブネットの両方が性能向上に顕著に寄与しており、その組み合わせが最も高い精度をもたらした。
• マルチ解像度実験の結果、低解像度での学習は性能を低下させ、異なる解像度のモデルを統合してもわずかな向上にとどまり、最適な解像度選定は非自明でモデル固有であることが示された。