[論文レビュー] Scalable Person Re-identification on Supervised Smoothed Manifold

Song Bai, Xiang Bai+1 more|arXiv (Cornell University)|Mar 24, 2017

Video Surveillance and Tracking Methods参考文献 31被引用数 46

ひとこと要約

本稿では、ペairワイズな監視情報と多様体構造を活用して滑らかで幾何学的感度のある類似度を学習する、人物再識別のための汎用的後処理フレームワークであるSupervised Smoothed Manifold (SSM)を提案する。SSMは、CUHK03 や Market-1501 といった大規模ベンチマークにおいて、最先端手法を上回る最大29.25 mAPの性能向上を達成しており、オンライン推論コストは最小限に抑えられており、実世界への展開に非常にスケーラブルかつ効果的である。

ABSTRACT

Most existing person re-identification algorithms either extract robust visual features or learn discriminative metrics for person images. However, the underlying manifold which those images reside on is rarely investigated. That raises a problem that the learned metric is not smooth with respect to the local geometry structure of the data manifold. In this paper, we study person re-identification with manifold-based affinity learning, which did not receive enough attention from this area. An unconventional manifold-preserving algorithm is proposed, which can 1) make the best use of supervision from training data, whose label information is given as pairwise constraints; 2) scale up to large repositories with low on-line time complexity; and 3) be plunged into most existing algorithms, serving as a generic postprocessing procedure to further boost the identification accuracies. Extensive experimental results on five popular person re-identification benchmarks consistently demonstrate the effectiveness of our method. Especially, on the largest CUHK03 and Market-1501, our method outperforms the state-of-the-art alternatives by a large margin with high efficiency, which is more appropriate for practical applications.

研究の動機と目的

• 既存のReID手法がデータの背後にある多様体を無視するため、類似度メトリクスが滑らかでなくなるという限界を是正すること。
• 既存の特徴抽出器やメトリクス学習手法を強化できる、スケーラブルで効率的かつ汎用的な後処理ツールを開発すること。
• 学習データからのペアワイズな監視情報（同等性制約）を活用して、データ多様体上での滑らかで幾何学的に一貫した類似度を学習すること。
• 大部分の計算をオフラインフェーズに移行することで、オンライン推論コストを低減し、大規模展開を可能にすること。

提案手法

• SSMは、人物再識別を、類似度が隣接するインスタンスペアの文脈で推定される多様体上の類似度学習として定式化する。
• 滑らかな多様体を通じた類似度スコアの伝搬を図るグラフベースの定式化を用い、局所的な幾何的整合性を保証する。
• 学習データからのペアワイズ制約を、類似度学習プロセスをガイドする監視情報として用いる。
• 学習フェーズ（オフライン）と推論フェーズ（オンライン）を分離することで、スケーラビリティを実現する。
• オンラインコストを削減するための2つの高速化技術を導入：低ランク近似と高速インデックス戦略。
• SSMは、任意の視覚的特徴とメトリクスを使用する既存のReIDパイプラインと互換性を持つプラグインモジュールとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 データの背後にある多様体を組み込むことで、人物再識別システムのロバスト性と精度が向上するか？
• RQ2 ペアワイズな監視情報（同等性制約）を効果的に活用して、多様体上での滑らかで幾何学的感度のある類似度を学習できるか？
• RQ3 大規模なReID応用に適した効率的で、オンラインコストを最小限に抑えた多様体ベースの類似度学習手法は実現可能か？
• RQ4 SSMは、コアアーキテクチャを変更せずに、既存のReIDモデルの性能をどの程度向上できるか？

主な発見

• Market-1501 データセットにおいて、SSMは単一クエリ評価でmAPを29.25ポイント向上（前回SOTAの39.55から68.80に）、性能を向上させた。
• CUHK03 では、検出されたバウンディングボックスを用いた評価で、ランク-1精度が76.6%、mAPが96.1%を達成し、前回SOTAをランク-1精度で18.0ポイント上回った。
• 最大のデータセット（Market-1501）でも、SSMのオンラインインデックスコストは1秒未満であり、追加コストはたったの21.68秒にとどまり、リアルタイムシステムに実用的である。
• SSMは5つのベンチマークで一貫して性能向上を示し、強力な汎化性とロバスト性を示した。
• 低コストのオンライン推論オーバーヘッドを維持しながら最先端の結果を達成したため、スケーラビリティと実用性が裏付けられた。
• SSMは既存のReIDパイプラインにスムーズに統合可能であり、異なる特徴抽出器やメトリクスに対して、精度向上を実現する汎用的な後処理ツールとして機能する。