[論文レビュー] Adaptive Re-ranking of Deep Feature for Person Re-identification

Yong Liu, Lin Shang+1 more|arXiv (Cornell University)|Nov 21, 2018

Video Surveillance and Tracking Methods参考文献 25被引用数 4

ひとこと要約

本論文は、文脈的情報と部分特徴の多様性を活用することで、人物再識別を向上させるために、適応的再ランク付け（ARR）とディープ特徴統合（DFF）を提案する。ARRは再ランク付けの反復処理において文脈的関連性を段階的に向上させるが、DFFは拡散プロセスを用いて部分特徴を統合する。両者を組み合わせることで、MarketとDukeでそれぞれmAPが4.2%および7.5%向上し、最先端の性能を達成した。

ABSTRACT

Typical person re-identification (re-ID) methods train a deep CNN to extract deep features and combine them with a distance metric for the final evaluation. In this work, we focus on exploiting the full information encoded in the deep feature to boost the re-ID performance. First, we propose a Deep Feature Fusion (DFF) method to exploit the diverse information embedded in a deep feature. DFF treats each sub-feature as an information carrier and employs a diffusion process to exchange their information. Second, we propose an Adaptive Re-Ranking (ARR) method to exploit the contextual information encoded in the features of neighbors. ARR utilizes the contextual information to re-rank the retrieval results in an iterative manner. Particularly, it adds more contextual information after each iteration automatically to consider more matches. Third, we propose a strategy that combines DFF and ARR to enhance the performance. Extensive comparative evaluations demonstrate the superiority of the proposed methods on three large benchmarks.

研究の動機と目的

• より良い深層特徴の活用により、人物再識別を向上させること。
• 既存の反復的再ランク付け手法が反復処理の過程で文脈的情報を適応的に増加させないという限界を是正すること。
• 深層特徴の異なる部分に埋め込まれた多様な情報を活用して、より優れたメトリクス学習を実現すること。
• 再ランク付けと特徴統合を組み合わせた、パラメータに敏感でない強力な戦略を開発し、再識別性能を向上させること。

提案手法

• 適応的再ランク付け（ARR）は、関連するサンプルをより多く含む文脈的近傍構造を動的に拡張することで、反復的にマッチングを再ランク付ける。
• ARRは類似度グラフ上で拡散プロセスを用いて類似度スコアを伝搬させ、各反復で文脈的情報を増加させる。
• ディープ特徴統合（DFF）は、深層特徴を部分特徴に分割し、拡散プロセスを用いてそれらを統合することで補完的な情報を統合する。
• DFFプロセスでは各部分特徴を別個のグラフとしてモデル化し、グラフ間のメトリクスを統合して、統一的かつ改善された距離メトリクスを生成する。
• ARR-DFF戦略では、部分特徴メトリクスに対してARRを適用し、その結果得られたメトリクスをDFFで統合することで、相乗効果を生み出す。
• 本手法は、標準的な深層特徴と距離メトリクスを用いる既存の再識別パイプラインと互換性があり、プラグアンドプレイである。

実験結果

リサーチクエスチョン

• RQ1 反復的再ランク付けを、各反復で使用する文脈的情報量を適応的に増加させることで、より効果的にできるか？
• RQ2 深層特徴表現内の部分特徴の多様性を活用することで、再識別性能を向上させられるか？
• RQ3 適応的再ランク付けとディープ特徴統合を組み合わせることで、個々のコンponentsに比べて優れた性能が得られるか？
• RQ4 部分特徴の数や近隣数といったハイパーパrameterの変更に対して、提案手法はどれほど感度を示すか？

主な発見

• Market-1501データセットでは、ARR-DFFがmAP 87.6%、R-1 91.5%を達成し、SPreIDをmAPで4.2ポイント上回った。
• DukeMTMC-reIDでは、ARR-DFFがmAP 80.8%、R-1 85.0%を達成し、SPreIDをmAPで7.5ポイント上回った。
• CUHK03では、ARR-DFFがmAP 74.2%、R-1 71.6%を達成し、困難でノイズの多いデータセットでも優れた性能を示した。
• ARR-DFFはDFF-ARRを常に上回り、Market-1501ではR-1で4.2ポイント、mAPで2.8ポイントの向上を示した。
• S（部分特徴の数）とk（近隣数）の異なる値に対しても、性能が安定しており、ハイパーパrameterの選択に強く依存しない。
• DFF-ARRはARR-DFFに比べて性能が劣っており、処理の順序が重要であることが示され、統合の前に再ランク付けを行う方が効果的である。