[論文レビュー] One-pass Person Re-identification by Sketch Online Discriminant Analysis

Weihong Li, Allen Z. Zhong+1 more|arXiv (Cornell University)|Nov 9, 2017

Video Surveillance and Tracking Methods参考文献 35被引用数 6

ひとこと要約

本稿では、スケッチ処理を用いて過去のデータ変動の低ランク表現を保存せずに維持する、1パスのオンライン人物再識別手法であるスケッチオンライン判別分析（SoDA）を提案する。スケッチからのクラス内共分散の推定により、オフラインFDAと同等の性能を達成しつつ、理論的上限と下限を伴う判別スコア近似の枠組みにおいて、効率的で逐次的な特徴学習が可能となる。

ABSTRACT

Person re-identification (re-id) is to match people across disjoint camera views in a multi-camera system, and re-id has been an important technology applied in smart city in recent years. However, the majority of existing person re-id methods are not designed for processing sequential data in an online way. This ignores the real-world scenario that person images detected from multi-cameras system are coming sequentially. While there is a few work on discussing online re-id, most of them require considerable storage of all passed data samples that have been ever observed, and this could be unrealistic for processing data from a large camera network. In this work, we present an onepass person re-id model that adapts the re-id model based on each newly observed data and no passed data are directly used for each update. More specifically, we develop an Sketch online Discriminant Analysis (SoDA) by embedding sketch processing into Fisher discriminant analysis (FDA). SoDA can efficiently keep the main data variations of all passed samples in a low rank matrix when processing sequential data samples, and estimate the approximate within-class variance (i.e. within-class covariance matrix) from the sketch data information. We provide theoretical analysis on the effect of the estimated approximate within-class covariance matrix. In particular, we derive upper and lower bounds on the Fisher discriminant score (i.e. the quotient between between-class variation and within-class variation after feature transformation) in order to investigate how the optimal feature transformation learned by SoDA sequentially approximates the offline FDA that is learned on all observed data. Extensive experimental results have shown the effectiveness of our SoDA and empirically support our theoretical analysis.

研究の動機と目的

• 逐次的なカメラデータへのリアルタイムなモデル適応を可能にするオンライン人物再識別におけるギャップを埋める。
• 全データを保存する必要があり、大規模なカメラネットワークにスケーラブルでないオフライン再識別モデルの制限を克服する。
• 過去のデータサンプルを明示的に保存せずに、判別的特徴学習の能力を維持する手法を開発する。
• スケッチベースのクラス内共分散近似がフィッシャー判別スコアの収束に与える影響を理論的に分析する。
• 大規模でストリーミング処理が求められる監視システムにおけるオンライン再識別において、高い効率性とスケーラビリティを達成する。

提案手法

• フィッシャー判別分析（FDA）にスケッチ処理を統合し、スケッチオンライン判別分析（SoDA）を構築する。
• これまでに観測されたすべてのサンプルからの主なデータ変動を捉える低ランクスケッチ行列を維持する。
• 生データを保存せずに、スケッチ行列からクラス内共分散行列を近似的に推定する。
• オンライン学習中に次元削減を暗黙的に行うために、スケッチ内での直交頻度方向を用いる。
• 完全な共分散再計算を避けるために、現在のサンプルとスケッチのみを用いて判別モデルを逐次的に更新する。
• 理論的分析により、フィッシャー判別スコアの収束を定量化する上界と下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 クラス内共分散行列のスケッチベース近似は、オンライン再識別における判別的特徴学習をどの程度維持できるか？
• RQ2 SoDAのオンライン特徴変換は、最適なオフラインFDA解をどの程度近似できるか？
• RQ3 異なる特徴次元数において、スケッチサイズとランク1正答率およびmAPのパフォーマンスとのトレードオフはいかほどか？
• RQ4 既存のオンライン再識別モデルと比較して、SoDAは顕著に低い計算コストとメモリ使用量で競争力のあるパフォーマンスを達成できるか？
• RQ5 FDAにスケッチ処理を組み込むことで、次元削減を自然に実現でき、PCAや特徴削減の別段階が不要になるか？

主な発見

• JLH特徴を用いた場合、3つの大規模人物再識別ベンチマーク（Market-1501、DukeMTMC、CUHK03）において、SoDAが最高のランク1一致率とmAPを達成した。
• 最先端のオンライン再識別モデルOL-IDMと比較して、累積学習時間を30倍短縮し、優れた効率性を示した。
• スケッチサイズℓが大きいほど性能が向上するが、小さなℓ（例：256次元特徴では256、高次元特徴では1000）でも、精度と計算コストの良好なバランスが達成された。
• 理論的境界により、SoDAのフィッシャー判別スコアがオフラインFDA解に収束することが確認され、厳密な上界と下界が導出された。
• SoDAはスケッチ行列を通じて暗黙的に次元削減を実行するため、高次元設定では別個のPCAや特徴削減ステップが不要となった。
• 実験的結果により、LOMO、HIPHOP、JLHといった高次元特徴に対しても、SoDAはOL-IDMや他のオフラインモデルよりも安定的かつ効果的であることが示された。