[論文レビュー] Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification

Yuyang Zhao, Zhun Zhong+5 more|arXiv (Cornell University)|Dec 1, 2020

Video Surveillance and Tracking Methods参考文献 44被引用数 14

ひとこと要約

本論文は、プライバシー制約やデータの入手可能性の制限により、ターゲットドメインのデータが入手できない状況下でも、未観測ドメインへの一般化を向上させるメモリベースのマルチソースメタラーニングフレームワークM3Lを提案する。メタラーニングを用いてトレーニング中にドメイン一般化をシミュレートし、非パrametricなメモリベースの損失関数とメタバッチ正規化を導入することで、4つの大規模なReIDベンチマークにおいて最先端の性能を達成し、従来手法に比べてゼロショットドメイン一般化性能を顕著に向上させた。

ABSTRACT

Recent advances in person re-identification (ReID) obtain impressive accuracy in the supervised and unsupervised learning settings. However, most of the existing methods need to train a new model for a new domain by accessing data. Due to public privacy, the new domain data are not always accessible, leading to a limited applicability of these methods. In this paper, we study the problem of multi-source domain generalization in ReID, which aims to learn a model that can perform well on unseen domains with only several labeled source domains. To address this problem, we propose the Memory-based Multi-Source Meta-Learning (M$^3$L) framework to train a generalizable model for unseen domains. Specifically, a meta-learning strategy is introduced to simulate the train-test process of domain generalization for learning more generalizable models. To overcome the unstable meta-optimization caused by the parametric classifier, we propose a memory-based identification loss that is non-parametric and harmonizes with meta-learning. We also present a meta batch normalization layer (MetaBN) to diversify meta-test features, further establishing the advantage of meta-learning. Experiments demonstrate that our M$^3$L can effectively enhance the generalization ability of the model for unseen domains and can outperform the state-of-the-art methods on four large-scale ReID datasets.

研究の動機と目的

• プライバシーやデータの入手可能性の制約により、ターゲットドメインのデータが入手できない状況下で、人物再識別における未観測ドメインへの一般化を解決すること。
• 複数のラベル付きソースドメインを活用することでモデルの一般化性能を向上させるとともに、ドメインバイアスや過学習を回避すること。
• 大規模なReIDデータセットを用いた深層メトリクスラーニングにおいて、パラメトリックな分類器が実用的でなくなる問題を克服すること。
• メタラーニングの安定性と特徴量の多様性を向上させる非パrametricな識別損失関数とメタバッチ正規化層を開発すること。
• 複数の大規模なReIDデータセットにおける未観測ドメインに対して、最先端のゼロショット一般化性能を達成すること。

提案手法

• 各イテレーションでソースドメインを動的にメタトレインおよびメタテストセットに分割するメタラーニング戦略を導入し、ドメイン一般化のテストシナリオをシミュレートする。
• パラメトリックな分類器に代わるメモリベースの識別損失関数を提案し、非パラメトリックな特徴マッチングを可能にするとともに、高クラス設定におけるメタ最適化の安定性を向上させる。
• メタテスト中に正規化統計を適応的に調整するメタバッチ正規化層（MetaBN）を設計し、ドメインシフトをシミュレートし、特徴の一般化性能を向上させる。
• メタトレイン損失を最小化するとともに、同時にメタテストの精度を向上させるようにモデルを訓練することで、ドメイン不変な表現学習を促進する。
• メタトレインドメインからの特徴量とアイデンティティを格納するメモリバンクを活用し、メタ最適化中の分類を効率的かつ安定的に実現する。
• バックボーンにResNet-50を採用し、t-SNE可視化を用いて特徴クラスタリングとドメインに依存しない表現学習の分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインデータにアクセスできない状況下でも、メタラーニングが人物再識別におけるドメイン一般化のテストシナリオを効果的にシミュレートできるか？
• RQ2 多数のアイデンティティを含む大規模なReIDにおいて、従来のパラメトリック分類器に比べ、非パラメトリックなメモリベースの損失関数がメタラーニングで優れた性能を発揮するか？
• RQ3 メタバッチ正規化は、マルチソースドメイン一般化において特徴の多様性と一般化性能をどのように向上させるか？
• RQ4 M3Lは、最先端の手法に比べて、未観測ドメインにおけるゼロショット一般化性能をどの程度向上させるか？
• RQ5 M3Lの性能向上は、より多くのソースドメインやより大きなID数の条件下で顕著に増幅するか？

主な発見

• M3Lは、DukeMTMC-reID、CUHK03、MSMT17で学習した場合、Market-1501で74.5%のランク-1精度を達成し、ベースラインから6.6ポイントも向上し、3,110のトレーニングIDを有する。
• 1,000のトレーニングIDを用いた場合、M3LはMarket-1501で63.4%のランク-1精度を達成し、メタラーニング下でのFCベースの分類器に比べ3.8%の向上を示した。
• 3,110のIDで学習した際、メモリベースの損失関数はFCベースの損失関数に比べ6.6%の向上を示し、高クラス設定における優位性を実証した。
• t-SNE可視化により、M3Lがドメインを問わずよりコンパクトで判別性の高い特徴クラスタを学習していることが確認された。特に未観測のターゲットドメイン（Market-1501）において顕著であった。
• 提案されたMetaBN層は、特徴の多様性を向上させ、特に未観測ドメインのシナリオにおいて一般化性能を向上させた。
• t-SNEプロットの結果、M3Lはドメインシフトの影響を顕著に低減しており、異なるドメイン間で同一アイデンティティの特徴がより緊密にクラスタリングされていることが示された。