[論文レビュー] Survey on Reliable Deep Learning-Based Person Re-Identification Models: Are We There Yet?

Bahram Lavi, Ihsan Ullah+2 more|arXiv (Cornell University)|Apr 30, 2020

Video Surveillance and Tracking Methods参考文献 81被引用数 18

ひとこと要約

本調査では、2014年から現在にかけての深層学習ベースの人物再識別（PReID）モデルを評価し、そのアーキテクチャ、ベンチマークデータセットにおける性能、および限界を分析している。一般化能力の低さ、教師あり学習への依存、モデルサイズ、実世界における耐性の欠如といった主な課題を特定し、実用的な知的動画監視システムへの導入に向け、より効率的で一般化可能かつスケーラブルなモデルの開発を提唱している。

ABSTRACT

Intelligent video-surveillance (IVS) is currently an active research field in computer vision and machine learning and provides useful tools for surveillance operators and forensic video investigators. Person re-identification (PReID) is one of the most critical problems in IVS, and it consists of recognizing whether or not an individual has already been observed over a camera in a network. Solutions to PReID have myriad applications including retrieval of video-sequences showing an individual of interest or even pedestrian tracking over multiple camera views. Different techniques have been proposed to increase the performance of PReID in the literature, and more recently researchers utilized deep neural networks (DNNs) given their compelling performance on similar vision problems and fast execution at test time. Given the importance and wide range of applications of re-identification solutions, our objective herein is to discuss the work carried out in the area and come up with a survey of state-of-the-art DNN models being used for this task. We present descriptions of each model along with their evaluation on a set of benchmark datasets. Finally, we show a detailed comparison among these models, which are followed by some discussions on their limitations that can work as guidelines for future research.

研究の動機と目的

• 2014年から現在までの最先端の深層学習ベースの人物再識別（PReID）モデルについて包括的な調査を提供すること。
• これらのモデルがVIPeR、Market-1501、DukeMTMC-reIDを含む標準ベンチマークデータセット上でどのように性能を発揮するかを評価すること。
• 現在のPReIDモデルに見られる主な限界、特に異なるデータセット間での一般化能力の低さや、限られたラベル付きデータに依存する教師あり学習への過度な依存を特定すること。
• リソース制約のある埋め込みデバイスへのデプロイメントに適した、高精度を維持しつつも小型で効率的なモデルの必要性を強調すること。
• 今後の研究方向性として、合成データ生成、クロスモダリティ学習、および半教師あり・自己教師あり学習を提起し、実世界への適用可能性を高めること。

提案手法

• 2014年から2020年までの間に発表された60の深層学習ベースのPReIDモデルを体系的にレビューし、分類すること。
• 標準ベンチマークデータセット上でモデルを評価し、Rank-1正答率やmAP（平均平均精度）といった性能指標を用いること。
• CNNベース、ペairワイズ、トリプレット損失ベースのモデルを含むモデルアーキテクチャの分析を行い、パラメータ効率性と推論速度に焦点を当てる。
• 教師あり、半教師あり、教師なしの学習戦略を比較し、教師ありと弱教師あり手法の間の性能格差を強調すること。
• ゲームエンジンを用いた合成データ生成やデータ拡張技術を調査し、データ不足の解決策としての可能性を検討すること。
• 赤外線と可視光などのクロスモダリティアプローチやドメイン適応技術を検討し、多様な条件下での耐性向上を図ること。

実験結果

リサーチクエスチョン

• RQ1 現在の深層学習ベースのPReIDモデルは、異なるベンチマークデータセット上でどのように性能を発揮しているのか。また、その一般化能力の範囲はどの程度か。
• RQ2 特にモデルサイズ、データ依存性、ドメインシフトに対する耐性の観点から、現実世界でのデプロイメントに際して、既存のPReIDモデルの主な限界は何か。
• RQ3 合成データ生成は、PReIDにおけるラベル付きデータの不足という課題をどの程度軽減できるか。
• RQ4 半教師ありおよび自己教師あり学習アプローチは、大規模なアノテート済みデータセットへの依存をどの程度低減できるか。
• RQ5 オープンセットおよび長期的PReIDシナリオにおける主な研究ギャップは何か。今後のモデルはそれらをどのように克服できるか。

主な発見

• 唯一のモデル（[93]）が2つ以上のベンチマークデータセットで最適な性能を達成しており、これは異なるデータセット間での一般化能力の低さを示している。
• 多くのモデルが1つか2つのデータセットでは優れた性能を示すが、他のデータセットには一般化できないことが明らかとなり、現在のモデル設計における深刻な限界を示している。
• 教師ありモデルは半教師あり・教師なし手法を著しく上回る性能を示しており、弱教師あり学習がまだ十分に発展しておらず、効果的でないことが示唆されている。
• モデルサイズは依然として深刻な問題であり、多くの深層ネットワークが膨大なパラメータ数を有しており、メモリ制限のある埋め込みデバイスへのデプロイメントには不適切である。
• ゲームエンジンを用いた合成データ生成は、データ不足の解決策として有効であると提唱されているが、PReID用のそのようなデータセットはまだ公開されていない。
• 赤外線と可視光のクロスモダリティ学習やドメイン知識の転送は、夜間や低照度環境などの困難な条件下での性能向上に有望であると示されている。