[論文レビュー] Person Re-identification Meets Image Search

Liang Zheng, Liyue Shen+4 more|arXiv (Cornell University)|Feb 7, 2015

Video Surveillance and Tracking Methods参考文献 30被引用数 63

ひとこと要約

本稿では、空間的およびマルチクエリモデリングを組み合わせた自己教師付きBag-of-Words（BoW）表現を用いて、人物再識別を画像検索問題として扱う手法を提案する。これにより、2桁以上の高速化を達成しつつ、競争力ある精度を実現した。また、DPM検出器で抽出されたバウンディングボックス、ダストラクター、マルチクエリ／マルチグランドトゥースアノテーションを備えたMarket-1501データセットを導入し、現実的で信頼性の高い評価を可能にした。

ABSTRACT

For long time, person re-identification and image search are two separately studied tasks. However, for person re-identification, the effectiveness of local features and the "query-search" mode make it well posed for image search techniques. In the light of recent advances in image search, this paper proposes to treat person re-identification as an image search problem. Specifically, this paper claims two major contributions. 1) By designing an unsupervised Bag-of-Words representation, we are devoted to bridging the gap between the two tasks by integrating techniques from image search in person re-identification. We show that our system sets up an effective yet efficient baseline that is amenable to further supervised/unsupervised improvements. 2) We contribute a new high quality dataset which uses DPM detector and includes a number of distractor images. Our dataset reaches closer to realistic settings, and new perspectives are provided. Compared with approaches that rely on feature-feature match, our method is faster by over two orders of magnitude. Moreover, on three datasets, we report competitive results compared with the state-of-the-art methods.

研究の動機と目的

• Bag-of-Words技術を再利用に適応させることで、人物再識別と画像検索のギャップを埋めること。
• 従来の再識別手法におけるブルートフォース特徴マッチングの非効率性を、ヒストグラムベースの表現によって是正すること。
• 検出器によって生成されたバウンディングボックス、ダストラクター、マルチクエリ設定を備えた大規模データセットを導入することで、より現実的なベンチマークを構築すること。
• 現実世界の検出エラーと複雑な背景下での再識別手法の耐障害性を評価すること。
• 今後の教師ありおよび教師なし手法の改善のためのスケーラブルで効率的かつ効果的なベースラインを提供すること。

提案手法

• 局所特徴に基づいて学習されたコードブックを用いて、自己教師付きBag-of-Words（BoW）表現を構築し、TF-IDF重み付けを用いて視覚的単語のヒストグラムを生成する。
• 画像を水平ストライプに分割することで空間的制約を組み込み、空間プーリングにより幾何的情報を保持する。
• 同一IDの複数クエリを1つのベクトルに集約することで、外観の変動に耐えうるよう強化し、耐障害性を向上させる。
• ドット積比較による類似度スコアを用いて、初期ランクリストを再順序付けする後処理ステップを適用する。
• ルート記述子、否定的証拠、バーストネス重み付けを統合し、特徴表現の品質を向上させる。
• 色名（CN）とHSヒストグラム（HS）特徴の組み合わせを用い、特徴の統合により性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 空間的およびマルチクエリモデリングを組み合わせたBag-of-Wordsモデルは、著しく効率性を向上させつつ、競争力ある再識別精度を達成できるか？
• RQ2 ダストラクター画像およびDPM検出バウンディングボックスの導入が、現実的設定下での再識別性能に与える影響は何か？
• RQ3 自己教師付きBoW表現は、最先端の教師あり手法をどれほど上回るか、または同等に達するか？
• RQ4 自動再順序付けは、初期ランクが悪い場合でも、初期検索結果の改善にどの程度効果を発揮するか？
• RQ5 Market-1501のような大規模で現実的なデータセットは、現実世界の条件下での再識別アルゴリズム評価に耐えうる強固なベンチマークとして機能できるか？

主な発見

• 提案手法は、SDCおよびSDALFと比較して、1枚あたり0.03秒の合計処理時間で、2桁以上の高速化を達成した。
• VIPeRデータセットでは、CN、HS、eSDC特徴を統合した場合、ランク1識別率が32.15%に達し、自己教師付きベースラインを上回った。
• CUHK03データセットでは、複数クエリとHS特徴を用いた場合、FPNNを4.44%上回るランク1精度を達成したが、これは自己教師付き手法であるにもかかわらずである。
• Market-1501データセットでは、すべての指標でSDALF、eSDC、KISSMEを一貫して上回り、現実的設定下での耐障害性を示した。
• DPMによって検出されたダストラクター画像の存在は、識別精度を著しく低下させた。これは、現実世界の評価において検出エラーに耐えうる性能の重要性を示している。
• 自動再順序付けステップは、初期ランクが良好でない場合には効果を発揮しなかった。これは、後処理による向上を得るには、初期特徴の品質が極めて重要であることを示している。