[論文レビュー] Deep Group-shuffling Random Walk for Person Re-identification

Yantao Shen, Hongsheng Li+4 more|arXiv (Cornell University)|Jul 30, 2018

Video Surveillance and Tracking Methods参考文献 45被引用数 23

ひとこと要約

本稿では、ランダムウォーク伝播を用いてギャラリー同士の類似度（G2G）を活用することで、プローブからギャラリーへの類似度（P2G）を向上させる、エンド・ツー・エンドで学習可能なグループシャッフル型ランダムウォーク（GSRW）層を提案する。特徴次元をグループ化・シャッフルすることで豊富な監視信号を適用し、Market-1501、CUHK03、DukeMTMC データセットで最先端の性能を達成。従来手法比でmAPが最大35.4%向上した。

ABSTRACT

Person re-identification aims at finding a person of interest in an image gallery by comparing the probe image of this person with all the gallery images. It is generally treated as a retrieval problem, where the affinities between the probe image and gallery images (P2G affinities) are used to rank the retrieved gallery images. However, most existing methods only consider P2G affinities but ignore the affinities between all the gallery images (G2G affinity). Some frameworks incorporated G2G affinities into the testing process, which is not end-to-end trainable for deep neural networks. In this paper, we propose a novel group-shuffling random walk network for fully utilizing the affinity information between gallery images in both the training and testing processes. The proposed approach aims at end-to-end refining the P2G affinities based on G2G affinity information with a simple yet effective matrix operation, which can be integrated into deep neural networks. Feature grouping and group shuffle are also proposed to apply rich supervisions for learning better person features. The proposed approach outperforms state-of-the-art methods on the Market-1501, CUHK03, and DukeMTMC datasets by large margins, which demonstrate the effectiveness of our approach.

研究の動機と目的

• トレーニングおよびテスト段階でギャラリー同士の類似度（G2G）を無視する、従来の人物再識別手法の限界を是正すること。
• G2G類似度情報を深層学習プロセスに統合するエンド・ツー・エンドで学習可能なフレームワークを構築すること。
• 特徴次元をグループに分割し、グループ単位の監視を適用することで、特徴学習を強化し、識別能を向上させること。
• 複数のP2GおよびG2G類似度ペairを組み合わせるグループシャッフル操作を設計し、異なる特徴サブスペースで多様で正則化された学習信号を生成すること。

提案手法

• P2G類似度を初期値として、G2G類似度をランダムウォーク伝播により微分可能かつエンド・ツー・エンドの方法で精緻化するグループシャッフル型ランダムウォーク（GSRW）層を提案。
• 埋め込みベクトルを複数のサブベクトルに分割する特徴グループ化を導入し、より強固な特徴学習を可能にするグループ単位の監視を実現。
• グループ化されたP2GおよびG2G類似度を再結合するグループシャッフル操作を適用し、異なる特徴サブスペースで多様な学習信号を生成。
• GSRW層に入力する前に、ペairワイズ類似度畳み込みニューラルネットワーク（CNN）を用いて初期のP2GおよびG2G類似度を計算。
• ランダムウォークアルゴリズムを用いて、ギャラリー集合全体にわたる類似度情報の伝播を行列演算で実行し、G2G関係に基づいてP2G類似度を更新。
• GSRW層を深層ニューラルネットワークアーキテクチャ内に統合することで、特徴学習と類似度精緻化の両方を共同最適化可能にした。

実験結果

リサーチクエスチョン

• RQ1 G2G類似度は、深層人物再識別モデルのトレーニング段階で効果的に活用可能であり、特徴学習およびランク付け性能の向上に寄与するか？
• RQ2 G2G類似度情報は、後処理の再ランク付けステップではなく、エンド・ツー・エンドで学習可能な形で深層ネットワークに統合可能か？
• RQ3 特徴のグループ化とシャッフルは、各特徴次元ごとの監視を豊かにすることで、学習された人物埋め込みの識別能を向上させるか？
• RQ4 ランダムウォークに基づく精緻化機構は、ギャラリー画像間の構造的関係を活用することで、P2G類似度推定を改善できるか？

主な発見

• Market-1501 データセットでは、本手法が94.0%のmAPを達成し、従来の最先端手法を35.4%上回った。
• CUHK03 では、mAPが94.0%、トップ1正答率が94.9%を達成し、次に優れた手法よりもトップ1正答率で19.4%の向上を示した。
• DukeMTMC では、mAPが66.4%、トップ1正答率が80.7%を達成し、SVDNet よりもそれぞれ9.6%および14.0%の向上を記録した。
• 追加のトレーニングデータや人間のポーズアノテーションを一切使用しない状態でも、SSM や k-reciprocal、OL-MANS などの再ランク付けベースラインを大きく上回った。
• アブレーションスタディの結果、特徴のグループ化とグループシャッフル操作の両方が性能向上に顕著に寄与しており、監視の強化におけるその有効性が裏付けられた。
• GSRW層のエンド・ツー・エンド学習により、すべての3つのベンチマークデータセットでより識別性の高い特徴が得られ、一般化性能が顕著に向上した。