[論文レビュー] Person Re-identification via Structured Prediction.

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Jun 13, 2014

Face recognition and analysis被引用数 3

ひとこと要約

本論文は、基底関数と局所的感度のある共起測度を用いて視覚的パターンの共起を学習することで、2台のカメラ視点間で同時に一致する人物再識別をモデル化する構造的予測フレームワークを提案する。VIPeRおよびCUHK Campusデータセットにおいて、それぞれ38.92%および56.69%のランク-1正答率を達成し、従来手法をそれぞれ8.76%および28.24%上回る最先端の性能を発揮する。

ABSTRACT

The goal of person re-identification (re-id) is to maintain the identity of an indi-vidual in diverse locations through different non-overlapping camera views. Re-id is fundamentally challenging because of appearance changes resulting from dif-fering pose, illumination and camera calibration of the two views. Existing lit-erature deals with the two-camera problem and proposes methods that seek to match a single image viewed in one camera to a gallery of images in the other. We propose structured prediction as a way to learn simultaneous matches across the two camera views. We deal with appearance changes in our prediction model through basis functions that encode co-occurrences of visual patterns in the two images. We develop locality sensitive co-occurrence measures as a way to incor-porate semantically meaningful appearance changes. Empirical performance of our method on two benchmark re-id datasets, VIPeR [12] and CUHK Campus [38], achieves accuracy rates of 38.92 % and 56.69%, at rank-1 on the so-called Cumulative Match Characteristic curves and beats the state-of-the-art results by 8.76 % and 28.24%. 1

研究の動機と目的

• ポーズ、照明、カメラの違いによる外見の変化に起因する人物再識別の課題に対処すること。
• 単一の画像をギャラリー内の画像にマッチングする従来の2台カメラ再識別手法の限界を克服すること。
• 両方のカメラ視点間で同時に予測を行う共同マッチングフレームワークを開発すること。
• 局所的感度のある共起測度を用いて意味的に意味のある外見の変化を組み込むこと。
• ベンチマークデータセット上で、最先端の手法を上回る再識別精度を向上させること。

提案手法

• 2台の重複しないカメラ視点間で人物画像の同時マッチングをモデル化する構造的予測を用いる。
• 対応する画像ペア間の視覚的パターンの共起を符号化する基底関数を定義する。
• 意味的に意味のある外見の変化を捉えるために、局所的感度のある共起測度を設計する。
• 学習された基底関数を用いてマッチング関係を予測する判別モデルを訓練する。
• 複雑な出力構造を扱うために、構造的予測技術を用いて予測モデルをエンドツーエンドで最適化する。
• 共起構造を活用して、カメラ視点間の外見の変化に対してより頑健になるようにする。

実験結果

リサーチクエスチョン

• RQ1 構造的予測を用いることで、2台のカメラ視点間での同時マッチングをモデル化することにより、人物再識別性能が向上するか？
• RQ2 視覚的パターンの共起を符号化する基底関数は、ポーズや照明に起因する外見の変化をどれほど効果的に捉えることができるか？
• RQ3 局所的感度のある共起測度は、外見の変化にわたるモデルの一般化能力をどの程度向上させるか？
• RQ4 提案手法は、標準的な再識別ベンチマーク上で、既存の最先端手法を上回るか？

主な発見

• 提案手法はVIPeRデータセットでランク-1正答率38.92%を達成し、前回の最先端手法を8.76ポイント上回った。
• CUHK Campusデータセットでは、ランク-1正答率56.69%を達成し、前回の最先端手法に対して28.24%の改善を示した。
• 視覚的パターンの共起を符号化する基底関数の使用は、外見の変化に対してモデルの一般化能力を顕著に向上させた。
• 局所的感度のある共起測度は、意味的に意味のある外見の変化を予測フレームワークに効果的に組み込むことができた。
• 構造的予測アプローチにより、単一画像対ギャラリーのマッチング戦略と比較して、カメラ視点間でのより頑健で正確な同時マッチングが可能になった。
• 2つのベンチマークデータセットにおける実験結果は、本手法の有効性と現実世界の再識別シナリオにおける一般化能力を確認した。