[論文レビュー] Person Re-identification by Local Maximal Occurrence Representation and Metric Learning

Shengcai Liao, Yang Hu+2 more|arXiv (Cornell University)|Jun 17, 2014

Video Surveillance and Tracking Methods参考文献 26被引用数 4

ひとこと要約

本論文は、ローカル最大発生（LOMO）特徴表現とクロスビュー二次判別分析（XQDA）を組み合わせた、頑健なメトリック学習に向けた新しい人物再識別手法を提案する。LOMOは水平ウィンドウ全体にわたる局所特徴の発生回数を最大化することで、視点変化に対する耐性を向上させる。一方、XQDAは一般化固有値分解を用いて、判別的な低次元部分空間とメトリックを同時に学習する。4つのベンチマークデータセットにおいて、最先端のランク-1正答率を2.2%から31.55%まで向上させた。

ABSTRACT

Person re-identification is an important technique towards automatic search of a person's presence in a surveillance video. Two fundamental problems are critical for person re-identification, feature representation and metric learning. An effective feature representation should be robust to illumination and viewpoint changes, and a discriminant metric should be learned to match various person images. In this paper, we propose an effective feature representation called Local Maximal Occurrence (LOMO), and a subspace and metric learning method called Cross-view Quadratic Discriminant Analysis (XQDA). The LOMO feature analyzes the horizontal occurrence of local features, and maximizes the occurrence to make a stable representation against viewpoint changes. Besides, to handle illumination variations, we apply the Retinex transform and a scale invariant texture operator. To learn a discriminant metric, we propose to learn a discriminant low dimensional subspace by cross-view quadratic discriminant analysis, and simultaneously, a QDA metric is learned on the derived subspace. We also present a practical computation method for XQDA, as well as its regularization. Experiments on four challenging person re-identification databases, VIPeR, QMUL GRID, CUHK Campus, and CUHK03, show that the proposed method improves the state-of-the-art rank-1 identification rates by 2.2%, 4.88%, 28.91%, and 31.55% on the four databases, respectively.

研究の動機と目的

• 視点変化および照明変化の影響に強い特徴表現を用いて、人物再識別における課題に取り組む。
• 主成分分析（PCA）に続くメトリック学習といった2段階のメトリック学習の限界を克服するため、部分空間とメトリックを同時に学習する。
• 複数の公開人物再識別ベンチマークで最先端の性能を向上させる、効率的で効果的な手法を開発する。
• 実世界への導入を支援する実用的な計算ソリューション（正則化や次元選択など）を提供する。
• 今後の研究やベンチマークの支援を目的として、コードのオープンソースリリースを実施する。

提案手法

• 視点変化に対する耐性を高めるために、スライディングウィンドウ全体にわたる局所特徴の水平発生回数を最大化するローカル最大発生（LOMO）特徴表現を提案する。
• 照明変化の影響を軽減するため、リティナックス変換とスケール不変テクスチャ演算子を適用する。
• 一般化レイリーグォチエントとして定式化された、部分空間とメトリックを同時に学習する手法であるクロスビュー二次判別分析（XQDA）を導入する。
• 一般化固有値分解を用いてXQDAの閉形式解を導出し、計算を効率化する。
• 正則化と固有値のしきい値に基づく自動次元選択を含む、XQDAの実用的計算手法を実装する。
• LOMOとXQDAを統合した統一フレームワークを構築し、複数のデータセットでエンドツーエンド評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 局所特徴の水平発生回数を最大化することで、人物再識別における視点変化に対する耐性が向上するか？
• RQ2 XQDAのような部分空間とメトリックを同時に学習するアプローチは、従来の2段階手法（例：PCA + メトリック学習）を上回る性能を発揮するか？
• RQ3 LOMOとXQDAの組み合わせは、多様なデータセットにおける照明変化およびポーズ変化に対し、どの程度効果的か？
• RQ4 XQDAの最適な部分空間次元は何か？また、その次元が性能と計算コストに与える影響は？
• RQ5 提案手法は、計算効率を維持しながら最先端の性能を達成できるか？

主な発見

• LOMO特徴は、局所的最大発生操作を実施しないベースラインと比較して、VIPeRデータセットでランク-1正答率を8.86ポイント（11.39%から20.25%）向上させた。
• XQDAは、部分空間次元100でVIPeRデータセットでランク-1正答率30.1%を達成し、100次元を超えて安定した性能を示した。
• 提案手法は、VIPeRで2.2%、QMUL GRIDで4.88%、CUHK Campusで28.91%、CUHK03で31.55%の最先端ランク-1識別率向上を達成した。
• LOMO特徴抽出器は、1枚の$128 \times 48$画像あたり0.012秒で処理可能であり、高い計算効率を示した。
• XQDAの学習時間はVIPeRでたったの1.86秒であり、ITML（36.78秒）やLMNN（265.28秒）といった反復的アルゴリズムに比べて顕著に高速であった。
• 提案手法は、4つのベンチマークデータセットすべてで一貫した性能向上を達成しており、その頑健性と一般化能力を確認した。