[論文レビュー] Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification

Shengcai Liao, Ling Shao|arXiv (Cornell University)|Apr 4, 2021

Video Surveillance and Tracking Methods参考文献 24被引用数 9

ひとこと要約

本稿では、人物再識別における深層度画像学習のための新しいミニバッチサンプリング手法であるグラフサンプリング（GS）を提案する。GSは各エポックの開始時にクラス間の最近傍グラフを構築し、訓練に有用なハードで類似したクラスを効果的に選択する。1つのクラスとその上位-k個の最近傍クラスをサンプリングすることで、モデルの汎化性能を向上させるとともに、トレーニング時間を顕著に短縮する。RandPersonで学習した場合、MSMT17で25.1%のRank-1スコア向上を達成し、トレーニング時間は25.4時間から2時間に短縮された。

ABSTRACT

Recent studies show that, both explicit deep feature matching as well as large-scale and diverse training data can significantly improve the generalization of person re-identification. However, the efficiency of learning deep matchers on large-scale data has not yet been adequately studied. Though learning with classification parameters or class memory is a popular way, it incurs large memory and computational costs. In contrast, pairwise deep metric learning within mini batches would be a better choice. However, the most popular random sampling method, the well-known PK sampler, is not informative and efficient for deep metric learning. Though online hard example mining has improved the learning efficiency to some extent, the mining in mini batches after random sampling is still limited. This inspires us to explore the use of hard example mining earlier, in the data sampling stage. To do so, in this paper, we propose an efficient mini-batch sampling method, called graph sampling (GS), for large-scale deep metric learning. The basic idea is to build a nearest neighbor relationship graph for all classes at the beginning of each epoch. Then, each mini batch is composed of a randomly selected class and its nearest neighboring classes so as to provide informative and challenging examples for learning. Together with an adapted competitive baseline, we improve the state of the art in generalizable person re-identification significantly, by 25.1% in Rank-1 on MSMT17 when trained on RandPerson. Besides, the proposed method also outperforms the competitive baseline, by 6.8% in Rank-1 on CUHK03-NP when trained on MSMT17. Meanwhile, the training time is significantly reduced, from 25.4 hours to 2 hours when trained on RandPerson with 8,000 identities. Code is available at https://github.com/ShengcaiLiao/QAConv.

研究の動機と目的

• 人物再識別における大規模な深層度画像学習の際のランダムサンプリングの非効率性を是正すること。
• トレーニングパイプラインの初期段階でハードで意味的に類似した例を組み込むことで、モデルの汎化性能を向上させること。
• 完全な特徴メモリやランダムサンプリングに依存する従来手法と比較して、トレーニング時間と計算コストを削減すること。
• 過大なメモリオーバーヘッドを伴わずに、RandPerson（8,000人分の識別子）のような大規模データセットにおいてもスケーラブルかつ効率的なトレーニングを可能にすること。

提案手法

• 各トレーニングエポックの開始時に、特徴埋め込みを用いてすべてのクラス間の最近傍グラフを構築する。
• 各ミニバッチに対して、ランダムに1つのアーキテクチャクラスを選択し、そのグラフ上の上位-k個の最近傍クラスをサンプリングする。
• 選択された各クラスからK枚の画像をサンプリングしてミニバッチを構成し、バッチ内での類似性と難易度を確保する。
• 境界例に焦点を当てたハードトリプレット損失を用いて、ペairワイズ度画像学習を実行する。
• 距離計算に1クラスあたり1サンプルのみを用いることで、グラフ構築のコストを制限し、計算オーバーヘッドを低減する。
• 競争力のあるベースラインモデル（例：QAConv）と統合し、性能と効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 構造的サンプリングによる早期ハード例マイニングは、人物再識別における汎化性能の向上に寄与するか？
• RQ2 グラフベースのサンプリングは、ランダムサンプリング（例：PKサンプラー）と比較して、トレーニング効率とモデル精度において優れているか？
• RQ3 グラフサンプリングは、大規模データセットにおいてトレーニング時間を短縮しつつ、性能を維持または向上させられるか？
• RQ4 意味的に類似したクラスをサンプリングすることで、特徴の識別性能が向上し、ドメインシフトに対してより頑健になるか？

主な発見

• 提案されたグラフサンプリング（GS）手法により、8,000人の識別子を含むRandPersonで学習した場合、トレーニング時間は25.4時間から2時間に短縮された。
• RandPersonで学習したGSは、MSMT17で25.1%のRank-1スコア向上を達成し、新たなSOTAを樹立した。
• MSMT17で学習した場合、CUHK03-NPではRank-1スコアが6.8%向上し、競争力のあるベースラインを上回った。
• 可視化結果から、GSはハードで視覚的に類似したクラス（例：類似した服、色、アクセサリー）を効果的に特定しており、モデルの識別性能を向上させていることが示された。
• GSで学習したモデルは、時間経過とともに背景の干渉を無視するよう学習し、服のスタイルや色といったアイデンティティに関連する特徴に注目するようになる。
• 初期のサンプリングコストがやや高いものの、ベースライン手法と比較して必要なトレーニングエポック数（通常<20）が顕著に減少したため、オーバーヘッドを正当化できる。