[論文レビュー] Lifelong Person Re-Identification via Adaptive Knowledge Accumulation

Nan Pu, Wei Chen+3 more|arXiv (Cornell University)|Mar 23, 2021

Video Surveillance and Tracking Methods参考文献 47被引用数 9

ひとこと要約

本稿では、複数の非重複ドメインから段階的に学習するが、未観測のドメインにも一般化できる、Lifelong Person Re-Identification (LReID) と呼ばれる新しいタスクを導入する。著者らは、危険な忘却を軽減し、ゼロショット一般化を向上させるために、可学習知識グラフと可塑性および安定性の損失を用いる、適応的知識蓄積 (AKA) フレームワークを提案する。未観測ドメインでは44.3%のmAPを達成し、ベースライン手法よりも5.8%高い性能を示した。

ABSTRACT

Person ReID methods always learn through a stationary domain that is fixed by the choice of a given dataset. In many contexts (e.g., lifelong learning), those methods are ineffective because the domain is continually changing in which case incremental learning over multiple domains is required potentially. In this work we explore a new and challenging ReID task, namely lifelong person re-identification (LReID), which enables to learn continuously across multiple domains and even generalise on new and unseen domains. Following the cognitive processes in the human brain, we design an Adaptive Knowledge Accumulation (AKA) framework that is endowed with two crucial abilities: knowledge representation and knowledge operation. Our method alleviates catastrophic forgetting on seen domains and demonstrates the ability to generalize to unseen domains. Correspondingly, we also provide a new and large-scale benchmark for LReID. Extensive experiments demonstrate our method outperforms other competitors by a margin of 5.8% mAP in generalising evaluation.

研究の動機と目的

• 時間経過とともに新たな未観測ドメインからのデータストリームが継続的に流入する動的かつ現実世界の環境における継続的ペルソントランスファー再識別 (ReID) の課題に対処すること。
• 固定された静的な学習分布を仮定する従来のReID手法の限界を克服すること。
• 以前に観測したドメインとは異なる未観測ドメインに対しても一般化できるモデルを実現すること。
• 今後の研究を支援するため、Lifelong ReIDのためのベンチマークと評価プロトコルを構築すること。

提案手法

• 移譲可能な知識を表現するための知識グラフ (KG) を設計し、ノードを人物アイデンティティの関係、エッジをミニバッチ内での外見類似度で表現する。
• グラフ畳み込みネットワーク (GCNs) を用いて、現在の知識表現と過去の知識表現の間のクロスグラフリンクを確立することで、ドメイン間で知識を伝搬・更新する。
• 以前のドメインからの知識移転を促進することで、新しいデータに対する表現学習を向上させるための可塑性損失を導入する。
• 以前に学習した知識を保持し、段階的学習中の危険な忘却を低減するための安定性損失を統合する。
• 知識グラフの更新時に勾配分離機構を適用し、学習を安定化させ、誤差の拡大を防ぐ。
• 可塑性損失と安定性損失の重み付き組み合わせを最適化し、ハイパーパramータは検証を用いて調整し、観測済みドメインと未観測ドメインの両方での性能をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 ReIDモデルは、非重複で非重複するドメインのシーケンスから学習しながら、以前に観測したドメインの性能を維持できるか？
• RQ2 トレーニング中に存在しなかった完全に新しいドメインへの一般化はどの程度達成できるか？
• RQ3 過去のドメインからの知識をどのように適応的に表現・移転することで、新しいドメインでの学習を向上させられるか？
• RQ4 Lifelong ReID設定において、新しい知識の習得（可塑性）と古い知識の保持（安定性）をバランスさせるために、どの損失構成が最も効果的か？

主な発見

• AKAフレームワークは、観測済みドメインで31.8%のmAP、未観測ドメインで44.3%のmAPを達成し、一般化評価においてすべてのベースラインより5.8%高い性能を示した。
• アブレーションスタディにより、可塑性損失と安定性損失の両方が不可欠であることが確認された。安定性損失を除去すると顕著な忘却が発生し、可塑性損失を除去すると未観測ドメインでの一般化性能が低下した。
• 両損失を備えた完全なAKAモデルは、未観測ドメインで44.3%のmAPを達成し、強力なゼロショット一般化能力を示した。
• 知識グラフモジュールは性能を顕著に向上させ、LwFベースラインと比較してmAPが6%向上し、忘却も低減された。
• ハイパーパramータ分析により、最適な性能はλp = 1およびλs = 5×10⁻⁴で得られ、Nᴷ = 64はメモリと性能の良好なトレードオフを提供した。
• 可視化により、勾配分離が知識表現学習を安定化させ、元の特徴と蒸留特徴の類似度が一貫して維持されていることが確認された。