[論文レビュー] Graph Correspondence Transfer for Person Re-identification

Qin Zhou, Heng Fan+5 more|arXiv (Cornell University)|Apr 1, 2018

Video Surveillance and Tracking Methods被引用数 9

ひとこと要約

本稿では、トレーニング中にグラフマッチングを用いてピクセル単位の対応テンプレートを学習し、類似したポーズ構成を持つテストペアにその対応を転送する、Graph Correspondence Transfer (GCT) という新しい人物再識別手法を提案する。GCT は文脈に配慮したグラフマッチングと対応転送を効果的に行うことで、空間的不一致を効果的に処理し、5つのベンチマークで最先端の性能を達成する。

ABSTRACT

In this paper, we propose a graph correspondence transfer (GCT) approach for person re-identification. Unlike existing methods, the GCT model formulates person re-identification as an off-line graph matching and on-line correspondence transferring problem. In specific, during training, the GCT model aims to learn off-line a set of correspondence templates from positive training pairs with various pose-pair configurations via patch-wise graph matching. During testing, for each pair of test samples, we select a few training pairs with the most similar pose-pair configurations as references, and transfer the correspondences of these references to test pair for feature distance calculation. The matching score is derived by aggregating distances from different references. For each probe image, the gallery image with the highest matching score is the re-identifying result. Compared to existing algorithms, our GCT can handle spatial misalignment caused by large variations in view angles and human poses owing to the benefits of patch-wise graph matching. Extensive experiments on five benchmarks including VIPeR, Road, PRID450S, 3DPES and CUHK01 evidence the superior performance of GCT model over other state-of-the-art methods.

研究の動機と目的

• 大きな視点およびポーズ変化に起因する人物再識別における空間的不一致を解消すること。
• 文脈モデリングを欠いたホリスティック特徴マッチングおよびパーツベース手法の限界を克服すること。
• トレーニングペアから学習した対応テンプレートを、類似したポーズ構成を持つテストペアに転送する手法を開発すること。
• グラフマッチングに空間的および視覚的文脈を組み込むことで、オクルージョンおよび外観変化に対する耐性を高めること。
• ディープラーニングアーキテクチャに依存せずに優れた再識別精度を達成すること。

提案手法

• 人物Re-IDをオフラインのグラフマッチングおよびオンラインの対応転送問題として定式化する。
• 局所的パーツ同士の関係をモデル化するため、空間的および視覚的文脈を用いてピクセル単位のグラフを構築する。
• 多様なポーズペア構成において、正例トレーニングペアを用いて対応テンプレートを学習する。
• 推論段階では、最も類似したポーズペア構成を持つ上位k個のトレーニングペアを参照として選択する。
• 選択された参照から学習された対応をテストペアに転送し、局所的特徴距離を計算する。
• 複数の参照からの距離を集約し、再識別用の総合マッチングスコアを算出する。

実験結果

リサーチクエスチョン

• RQ1 空間的および視覚的文脈を組み込んだグラフマッチングは、大きなポーズおよび視点変化下でも対応学習を向上させ得るか？
• RQ2 類似したトレーニングペアから事前に学習した対応を転送することで、未観測のテストペアへの一般化性能が向上するか？
• RQ3 本手法は、ディープラーニングベースおよびパーツベースのRe-IDアプローチと比較して、不一致およびオクルージョンの処理においてどのように優れているか？
• RQ4 対応転送における最適な参照数は何か？また、ポーズばらつきが異なるデータセット間でどのように変化するか？
• RQ5 本手法の失敗モードは何か？また、重度の自己オクルージョン下での性能はいかがなっているか？

主な発見

• CUHK01データセットでは、GCTが61.9%のランク-1正答率を達成し、以前のSOTA手法TCPを8.2ポイント上回った。
• 3DPESデータセットでは、GCTが81.0%のランク-1正答率を達成し、非ディープラーニング手法を著しく上回り、ディープラーニングベースラインと同等の性能を示した。
• 最適な参照数はデータセットによって異なる：VIPeRでは20、Roadでは5、PRID450Sでは10、3DPESでは20、CUHK01では20であり、ポーズばらつきが大きいデータセットではより多くの参照が必要であることを示している。
• GCTはVIPeRおよびCUHK01でR=20で最も優れた性能を示したが、R=50はすべてのデータセット（VIPeRを除く）で最悪の性能を示し、参照の質が数よりも重要であることを確認した。
• グラフマッチングによる正則化のおかげで、オクルージョンに対して頑健であるが、重度の自己オクルージョンは依然として失敗ケースのままである。
• ディープラーニングに依存せずとも、GCTはいくつかのディープラーニングベースモデルを上回る性能を示しており、構造的対応学習の有効性を裏付けている。