[論文レビュー] Learning to rank in person re-identification with metric ensembles

Sakrapee Paisitkriangkrai, Chunhua Shen+1 more|arXiv (Cornell University)|Mar 5, 2015

Video Surveillance and Tracking Methods参考文献 7被引用数 55

ひとこと要約

本論文は、人物再識別のためのアンサンブルメトリクスシステムに、複数の手作業で作成された特徴量と深層視覚特徴量を統合する構造的学習アプローチを提案する。相対的な順序付け（三つ組み損失を用いて）とトップ-k認識精度の両方を最適化することで、最先端の性能を達成し、CUHK03ではランク-1精度が21%から62.1%まで41ポイント向上した。

ABSTRACT

We propose an effective structured learning based approach to the problem of person re-identification which outperforms the current state-of-the-art on most benchmark data sets evaluated. Our framework is built on the basis of multiple low-level hand-crafted and high-level visual features. We then formulate two optimization algorithms, which directly optimize evaluation measures commonly used in person re-identification, also known as the Cumulative Matching Characteristic (CMC) curve. Our new approach is practical to many real-world surveillance applications as the re-identification performance can be concentrated in the range of most practical importance. The combination of these factors leads to a person re-identification system which outperforms most existing algorithms. More importantly, we advance state-of-the-art results on person re-identification by improving the rank-$1$ recognition rates from $40\%$ to $50\%$ on the iLIDS benchmark, $16\%$ to $18\%$ on the PRID2011 benchmark, $43\%$ to $46\%$ on the VIPeR benchmark, $34\%$ to $53\%$ on the CUHK01 benchmark and $21\%$ to $62\%$ on the CUHK03 benchmark.

研究の動機と目的

• 監視システムにおける顔貌の大きな変化、ポーズの変化、照明の違いに起因する人物再識別の課題に対処すること。
• 固定重み融合の限界を克服し、異なるデータセットに最適な特徴量重みを学習することで、メトリクスアンサンブルの性能を向上させること。
• 実世界のオペレーターの行動に一致するように、トップ-kの検索性能（例：k < 10）に焦点を当てることで、実用的な再識別性能を向上させること。
• 線形および非線形のメトリクス学習手法と統合可能な柔軟なフレームワークを構築すること。
• 構造的学習を用いて多様な視覚的特徴量を統合することで、複数のベンチマークデータセットで最先端の性能を達成すること。

提案手法

• カラーヒストограм、LBP、SIFT、テクスチャ特徴量など、低レベルおよび高レベルの複数の視覚的特徴量を用いて、基本メトリクスのアンサンブルを構築する。
• 2つの構造的学習目的を用いて特徴量重みを最適化する：(1) 三つ組みベースの相対的距離最大化により順序付けの精度を向上させ、(2) 小さなk（例：k=1〜10）におけるトップ-k認識率の最大化。
• トップ-k認識率の目的関数に対して、カットプレーン最適化を適用して、構造的学習問題を効率的に解く。
• サンプル間の距離を[0,1]に正規化することで、異なる特徴量ベースの距離関数間でスケールの一貫性を確保する。
• 事前に定義された重みではなく、最適化によって学習された重みを用いた、基本メトリクスの重み付き平均化を実行する。
• 既存のメトリクス学習手法とフレームワークを統合し、線形および非線形モデルの両方と互換性を持つようにする。

実験結果

リサーチクエスチョン

• RQ1 複数の視覚的特徴量を学習ベースで統合することで、固定重みアンサンブル手法を上回る人物再識別性能を達成できるか？
• RQ2 トップ-k認識（例：ランク-1からランク-10）を最適化することで、全体のCMC形状を最適化するのと比較して、実世界での適用性が向上するか？
• RQ3 三つ組みベースの構造的学習とトップ-k目的関数を用いた学習は、均一またはヒューリスティックな重み割り当てと比較して、メトリクスアンサンブルにおいてどのように優れているか？
• RQ4 メトリクスアンサンブル学習は、iLIDS、VIPeR、CUHK03といった困難なベンチマークで、ランク-1精度をどの程度向上させられるか？
• RQ5 提案されたフレームワークは、性能を損なわずに、既存のメトリクス学習アルゴリズムと組み合わせて使用できるほど十分に柔軟か？

主な発見

• iLIDSでは、提案手法がランク-1認識率50.3%を達成し、先行研究の40.3%から向上した。
• PRID2011では、17.9%のランク-1精度を達成し、前回最良手法の16.0%から向上した。
• VIPeRでは、ランク-1精度が45.9%に達し、先行最良手法の43.4%を上回った。
• CUHK01では、53.4%のランク-1精度を達成し、前回最良手法の34.3%を大きく上回った。
• CUHK03では、62.1%のランク-1精度を達成し、前回最良手法の20.7%から顕著な向上を示した。
• CMC${}^\text{top}$最適化は、低再現率（k ≤ 10）において均一重み割り当てのベースラインを上回ったが、高再現率（k ≥ 50）では両手法が収束した。