[論文レビュー] Divide and Fuse: A Re-ranking Approach for Person Re-identification

Rui Yu, Zhichao Zhou+2 more|arXiv (Cornell University)|Aug 11, 2017

Video Surveillance and Tracking Methods参考文献 10被引用数 21

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（CNN）特徴量を部分特徴量に分割し、文脈情報を段階的に符号化して統合することで、検索精度を向上させる、未学習の再ランク付けフレームワーク「Divide and Fuse」（DaF）を提案する。この手法はMarket-1501で最先端の性能を達成し、mAPを72.42%まで向上させ、ベースラインから2.32%の向上を達成した。

ABSTRACT

As re-ranking is a necessary procedure to boost person re-identification (re-ID) performance on large-scale datasets, the diversity of feature becomes crucial to person reID for its importance both on designing pedestrian descriptions and re-ranking based on feature fusion. However, in many circumstances, only one type of pedestrian feature is available. In this paper, we propose a "Divide and use" re-ranking framework for person re-ID. It exploits the diversity from different parts of a high-dimensional feature vector for fusion-based re-ranking, while no other features are accessible. Specifically, given an image, the extracted feature is divided into sub-features. Then the contextual information of each sub-feature is iteratively encoded into a new feature. Finally, the new features from the same image are fused into one vector for re-ranking. Experimental results on two person re-ID benchmarks demonstrate the effectiveness of the proposed framework. Especially, our method outperforms the state-of-the-art on the Market-1501 dataset.

研究の動機と目的

• 複数の補完的特徴が利用できない状況での人物再識別精度の向上を目的とする。
• 1つの高次元特徴ベクトル内に存在する多様性を再ランク付けに活用することを目的とする。
• 追加のトレーニングや特徴量を必要とせず、効率的な未学習の再ランク付け手法を構築することを目的とする。
• 部分特徴量の段階的文脈符号化がメトリクス学習と検索性能にどのように寄与するかを調査することを目的とする。

提案手法

• 1つの深層特徴ベクトル（例：2,048次元のResNet）をL個の部分特徴量に分割することで多様性を導入する。
• k1個の最近傍点とそのk2個の最近傍点からの類似度を組み合わせるファジィ集約演算子を用いて、段階的な特徴符号化を実行する。
• 近傍に依存する変換により文脈情報を新しい特徴量に符号化し、識別力を向上させる。
• すべての符号化済み部分特徴量を学習された統合戦略を用いて組み合わせ、最終的な統合特徴ベクトルを形成する。
• 効率的なスパースベクトルマッチングを実現するため、インverted indexを用いる。これにより、Market-1501における1クエリあたり0.12秒の高速推論が可能になる。
• この手法は完全に未学習であり、任意の初期ランクリストに対して後処理として適用可能である。

実験結果

リサーチクエスチョン

• RQ1 1つの深層特徴ベクトル内に多様性を効果的に導入することで、再ランク付け性能の向上が達成できるか？
• RQ2 近傍情報の段階的符号化が、人物再識別における特徴表現にどのように寄与するか？
• RQ3 最大性能を得るための最適な部分特徴量数（L）、近傍サイズ（k1, k2）、統合重み（α）の設定は何か？
• RQ4 完全に未学習で特徴量に依存しない再ランク付けフレームワークが、既存の最先端手法を上回ることができるか？

主な発見

• 提案されたDivide and Fuseフレームワークは、Market-1501データセットでmAP 72.42%を達成し、ベースラインから2.32%の向上を示した。
• この手法はMarket-1501で最先端の再ランク付け手法を上回り、実世界のベンチマークでも有効性を示した。
• 最適な部分特徴量数Lは約10であり、多様性と部分特徴量の次元数のバランスを保ちつつ、識別力を維持する。
• 最適な統合重みαは0.4であり、提案されたファジィ集約演算子が算術平均（α=1）を上回ることを示した。
• k1=20およびk2=4が最良の性能をもたらし、ノイズを避けるために近接近傍に焦点を当てるべきであることを示した。
• 段階的符号化によりmAPが71.22%から72.42%に向上し、2回以上の反復では収束効果が小さくなるため、2回の反復が実用的な選択肢となった。