[論文レビュー] A Novel Visual Word Co-occurrence Model for Person Re-identification

Ziming Zhang, Yuting Chen+1 more|arXiv (Cornell University)|Oct 24, 2014

Video Surveillance and Tracking Methods参考文献 14被引用数 4

ひとこと要約

本稿では、カメラ視点間の外見変換をコードワード共起統計によって符号化する、人物再識別向けの新規な視覚的語彙共起モデルを提案する。非教師付きコードブックを用いて画像を視覚的語彙にマッピングし、カーネル平均埋め込みを用いて空間的に注意を払った共起パターンをモデル化することで、VIPeRおよびCUHK Campusデータセットでそれぞれ83.86%および85.49%のランク-15 CMCスコアを達成し、最先端の性能を発揮した。これは、それぞれ前例の手法より10.44%および22.27%の向上を示している。

ABSTRACT

Person re-identification aims to maintain the identity of an individual in diverse locations through different non-overlapping camera views. The problem is fundamentally challenging due to appearance variations resulting from differing poses, illumination and configurations of camera views. To deal with these difficulties, we propose a novel visual word co-occurrence model. We first map each pixel of an image to a visual word using a codebook, which is learned in an unsupervised manner. The appearance transformation between camera views is encoded by a co-occurrence matrix of visual word joint distributions in probe and gallery images. Our appearance model naturally accounts for spatial similarities and variations caused by pose, illumination & configuration change across camera views. Linear SVMs are then trained as classifiers using these co-occurrence descriptors. On the VIPeR and CUHK Campus benchmark datasets, our method achieves 83.86% and 85.49% at rank-15 on the Cumulative Match Characteristic (CMC) curves, and beats the state-of-the-art results by 10.44% and 22.27%.

研究の動機と目的

• ポーズ、照明、カメラ設定の違いによる顕著な外見変化の下でも、人物再識別を困難にする課題に対処すること。
• 重複しないカメラ視点間の外見変換を不変特徴としてではなく、視覚的語彙の統計的共起パターンとしてモデル化すること。
• プローブおよびギャラリー画像間の視覚的コードワードの空間的に感受性のある共起統計を活用することで、マッチング精度を向上させること。
• VIPeRやCUHK Campusなどのベンチマークデータセットで、既存の最先端手法を上回ること。

提案手法

• 訓練データから学習された非教師付きコードブックを用いて、画像を視覚的語彙に符号化する。
• 潜在変数の条件付き密度をカーネルとして用いたカーネル平均埋め込みにより、各視覚的語彙の空間的分布をカーネル空間に埋め込む。
• プローブおよびギャラリー画像間の視覚的語彙の連合分布の共起行列を構築し、カメラ視点間の外見変換をモデル化する。
• 得られた記述子を用いて線形SVMを訓練し、分類および再識別を行う。
• 学習されたシグマパラメータを有する空間的カーネルを用いることで、ポーズおよび照明変化に対してより頑健になる。
• 訓練中に学習された重み行列は、判別的な共起パターンを捉えており、高い重みは統計的に有意な正または負の共起関係を示している。

実験結果

リサーチクエスチョン

• RQ1 異なるカメラ視点間の視覚的コードワードの共起パターンは、人物再識別において外見変換を信頼性高く捉えることができるか？
• RQ2 視覚的語彙の空間的分布をモデル化することで、ポーズ、照明、設定の変化に対してどの程度頑健性が向上するか？
• RQ3 視覚的語彙の統計的共起モデルは、不変特徴学習やメトリクス学習に基づく手法を上回ることができるか？
• RQ4 コードブックサイズとカーネル選択が、共起モデルの性能に及ぼす影響は何か？
• RQ5 潜在的な空間的カーネルを用いたカーネル平均埋め込みは、単純な特徴表現に比べて判別力を高めることができるか？

主な発見

• VIPeRデータセットでは、提案手法がランク-15 CMCスコア83.86%を達成し、前例の最先端手法より10.44%の向上を示した。
• CUHK Campusデータセットでは、同手法がランク-15 CMCスコア85.49%を達成し、前例の最先端手法を22.27%上回った。
• コードブックサイズが100、200、500のとき、性能が最も良く、500語彙を超えると性能が飽和する傾向を示した。
• 学習された重み行列は、特定のコードワード共起パターンが顕著に判別可能であることを示しており、正しくマッチした場合に高い正の重み、誤ったマッチングでは高い負の重みを示した。
• 潜在的な空間的カーネルの使用は、他のカーネル選択に比べて顕著に性能を向上させ、共起モデリングにおける空間的文脈の重要性を示している。
• 本手法は一般化性能に優れており、VIPeRおよびCUHK Campusの両ベンチマークデータセットで一貫した最先端の結果を達成した。