[論文レビュー] Person Re-Identification using Deep Learning Networks: A Systematic Review

Ankit Yadav, Dinesh Kumar Vishwakarma|arXiv (Cornell University)|Dec 24, 2020

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

本システマティックレビューは、人物再識別（Re-ID）における最先端のディーブラーニング手法を統合的に分析し、アーキテクチャ、ポーズや隠蔽の変動といった課題、マルチモーダルおよびクロスドメインRe-ID、メトリック学習、動画ベースRe-IDを検討する。ベンチマーク、上位成績、今後の方向性を評価し、ディープRe-ID研究分野における最近の進展を包括的かつ多面的に要約する。

ABSTRACT

Person re-identification has received a lot of attention from the research community in recent times. Due to its vital role in security based applications, person re-identification lies at the heart of research relevant to tracking robberies, preventing terrorist attacks and other security critical events. While the last decade has seen tremendous growth in re-id approaches, very little review literature exists to comprehend and summarize this progress. This review deals with the latest state-of-the-art deep learning based approaches for person re-identification. While the few existing re-id review works have analysed re-id techniques from a singular aspect, this review evaluates numerous re-id techniques from multiple deep learning aspects such as deep architecture types, common Re-Id challenges (variation in pose, lightning, view, scale, partial or complete occlusion, background clutter), multi-modal Re-Id, cross-domain Re-Id challenges, metric learning approaches and video Re-Id contributions. This review also includes several re-id benchmarks collected over the years, describing their characteristics, specifications and top re-id results obtained on them. The inclusion of the latest deep re-id works makes this a significant contribution to the re-id literature. Lastly, the conclusion and future directions are included.

研究の動機と目的

• 最近のディープラーニングベースの人物再識別技術を包括的かつ多面的に評価すること。
• Re-IDにおける多様なディープラーニング的側面を網羅的にカバーするレビュー文書の不足に対処すること。
• ポーズの変動、照明の変化、隠蔽、背景のごみといったRe-IDシステムにおける課題を分析すること。
• メトリック学習に焦点を当て、マルチモーダル、クロスドメイン、動画ベースRe-IDアプローチを評価すること。
• 主なRe-IDベンチマークを収集・記述し、その仕様と最先端の性能結果を提示すること。

提案手法

• 2020年までに発表されたディープラーニングベースの人物Re-ID手法について、システマティックな文献レビューを実施する。
• 畳み込みニューラルネットワーク（CNNs）、シアンジェイルネットワーク、アテンション機構など、深層アーキテクチャの種別ごとにRe-ID技術を分類する。
• ポーズ、照明、視点、スケール、隠蔽、背景のごみといった主な課題におけるパフォーマンスを分析する。
• RGB+深度、RGB+赤外画像などのマルチモーダルRe-ID（例：RGB+depth, RGB+thermal）およびクロスドメインRe-ID手法を調査する。
• 埋め込み空間の識別性を向上させるために用いられるメトリック学習戦略を検討する。
• 時間的整合性をモデル化するための時空間特徴を活用する動画Re-IDアプローチをレビューする。

実験結果

リサーチクエスチョン

• RQ1 現代の人物再識別システムで使用されている主要なディープラーニングアーキテクチャは何か？
• RQ2 既存の手法は、隠蔽、視点の変化、照明の変化といった一般的なRe-ID課題をどのように対処しているか？
• RQ3 ディープラーニングを用いたマルチモーダルおよびクロスドメイン人物再識別でどのような進展が見られたか？
• RQ4 メトリック学習手法は、Re-IDタスクにおける特徴埋め込みの品質をどのように向上させているか？
• RQ5 人物再識別の主要なベンチマークは何か？ それらで達成されたトップパフォーマンスの結果は何か？

主な発見

• 本レビューでは、畳み込みニューラルネットワーク（CNNs）とシアンジェイルネットワークが、Re-IDで最も一般的に使用されているディープラーニングアーキテクチャであると同定した。
• トリプレット損失やコントラスト損失といったメトリック学習手法は、特徴の識別性を著しく向上させ、再識別精度を改善した。
• RGBと深度または赤外データを組み合わせたマルチモーダルRe-IDアプローチは、厳しい条件下でもより高いロバスト性を示した。
• クロスドメインRe-IDは依然として大きな課題であり、ソースドメインとターゲットドメインが異なると性能が著しく低下する傾向にある。
• 再帰型ネットワークや3次元畳み込みを活用する動画Re-ID手法は、時間的整合性をモデル化できるため、画像ベースの手法よりも高い精度を達成した。
• PRID2012、Market-1501、DukeMTMC-reID、MSMT12849ベンチマークは、Re-IDパフォーマンスの評価において中心的な役割を果たしており、標準プロトコル下でMarket-1501でmAPスコア90％以上のトップメソッドが達成されている。