[論文レビュー] Weakly Supervised Person Re-ID: Differentiable Graphical Learning and A New Benchmark

Guangrun Wang, Guangcong Wang+4 more|arXiv (Cornell University)|Apr 8, 2019

Video Surveillance and Tracking Methods参考文献 95被引用数 6

ひとこと要約

本論文は、バッグレベルのアノテーションから信頼性の高い擬似画像レベルラベルを生成するための微分可能グラフィカルラーニングを用いた弱教師付き人物再識別手法を提案する。これにより、30,000人の人物と2960万枚の画像を含む、新しい大規模ベンチマークSYSU-30kの学習が可能となり、SYSU-30kおよび他のデータセットにおいて最先端の性能を達成した。弱教師付き学習とグラフィカルモデリングを組み合わせることで、顕著に低いアノテーションコストで完全教師付きモデルと同等またはそれを上回る性能を実現したことが示された。

ABSTRACT

Person re-identification (Re-ID) benefits greatly from the accurate annotations of existing datasets (e.g., CUHK03 [1] and Market-1501 [2]), which are quite expensive because each image in these datasets has to be assigned with a proper label. In this work, we ease the annotation of Re-ID by replacing the accurate annotation with inaccurate annotation, i.e., we group the images into bags in terms of time and assign a bag-level label for each bag. This greatly reduces the annotation effort and leads to the creation of a large-scale Re-ID benchmark called SYSU-30$k$. The new benchmark contains $30k$ individuals, which is about $20$ times larger than CUHK03 ($1.3k$ individuals) and Market-1501 ($1.5k$ individuals), and $30$ times larger than ImageNet ($1k$ categories). It sums up to 29,606,918 images. Learning a Re-ID model with bag-level annotation is called the weakly supervised Re-ID problem. To solve this problem, we introduce a differentiable graphical model to capture the dependencies from all images in a bag and generate a reliable pseudo label for each person image. The pseudo label is further used to supervise the learning of the Re-ID model. When compared with the fully supervised Re-ID models, our method achieves state-of-the-art performance on SYSU-30$k$ and other datasets. The code, dataset, and pretrained model will be available at \url{https://github.com/wanggrun/SYSU-30k}.

研究の動機と目的

• 人物再識別における画像レベルアノテーションの高コストを解消するため、時間的近接性に基づくバッググループ化によるバッグレベルアノテーションへの置き換えを目的とする。
• 強い画像レベルラベルが存在しない状況でも、判別的な表現を学習できる弱教師付きRe-IDフレームワークの開発を目的とする。
• 今後の弱教師付き人物再識別の研究を支援するため、新しい大規模ベンチマークであるSYSU-30kの構築を目的とする。
• 微分可能なグラフィカルモデルを用いて画像間の依存関係をモデル化することで、弱教師付きデータからの効果的な学習を可能とすることを目的とする。

提案手法

• 画像は時間的近接性に基づいてバッグにグループ化され、各バッグには含まれる人物の集合を示すバッグレベルラベルが付与される。
• 各バッグ内の画像間の依存関係を捉えるために、微分可能なグラフィカルモデルが導入され、単一項（初期の深層特徴）と二項（特徴および外観類似度）の項を用いる。
• モデルはグラフィカルモデルの最適化を通じて分類確率を改善し、バッグ内の各画像に対して擬似画像レベルラベルを生成する。
• これらの擬似ラベルを用いてRe-IDモデルの学習を監督し、弱教師付き学習を実現する。
• フレームワークは、エンドツーエンド学習が可能な深層メトリクスネットワーク（例：MGN）を用いて実装され、グラフィカルモデルはバックプロパゲーションにより微分可能である。
• 本手法は、個々の画像レベルアノテーションを一切必要とせず、SYSU-30kデータセットのバッグレベルラベルのみを用いて学習される。

実験結果

リサーチクエスチョン

• RQ1 画像レベルラベルの代わりにバッグレベルアノテーションのみを用いた弱教師付きRe-IDモデルは、競争力のある性能を達成できるか？
• RQ2 微分可能なグラフィカルモデルは、曖昧なバッグレベルの監視のもとで、個々の画像に対する信頼性の高い擬似ラベルを効果的に生成できるか？
• RQ3 SYSU-30kのような大規模な弱教師付きアノテーション付きベンチマークは、人物再識別における一般化性能と性能向上を促進するか？
• RQ4 精度と計算コストの観点から、弱教師付きモデルは完全教師付きモデルと比べてどのように性能を発揮するか？

主な発見

• 提案手法であるW-MGNは、SYSU-30kベンチマークにおいて72.7%のランク-1精度を達成し、複数の完全教師付きモデルを上回った。
• バッグレベルアノテーションのみで学習しても、W-MGNはSYSU-30kで29.5%のランク-1精度を達成し、CUHK03から微調整した完全教師付きモデルを上回った。
• 弱教師付き手法の計算コスト（100枚あたり0.2453秒）は、完全教師付き手法（100枚あたり0.2448秒）とほぼ同等であった。
• 微分可能なグラフィカルモデルは、強力な監視が存在しない中でも画像間の依存関係を的確に捉え、正確な擬似ラベル生成を可能にした。
• 30,000人の人物と2960万枚の画像を含むSYSU-30kベンチマークは、これまでにない最大規模の人物再識別データセットであり、弱教師付き学習を支援する。
• 定性的な結果から、モデルの一般化性能が高く、視覚的類似度が非常に高い困難なケースでも、正しく一致するペアがしばしば上位にランク付けされていることが示された。