[論文レビュー] Memorizing Comprehensively to Learn Adaptively: Unsupervised Cross-Domain Person Re-ID with Multi-level Memory

Xinyu Zhang, Dong Gong+2 more|arXiv (Cornell University)|Jan 13, 2020

Video Surveillance and Tracking Methods参考文献 53被引用数 8

ひとこと要約

本稿では、教師なしクロスドメイン人物再識別を目的としたマルチレベルメモリネットワーク（MMN）を提案する。未ラベルのターゲットデータにおいて、部分レベル、インスタンスレベル、ドメインレベルのメモリモジュールを活用し、細分化された関係性とグローバルな関係性を捉える。体系的なマルチレベルの監視を統合することで、類似度および非類似度学習を向上させ、ターゲットドメインにアノテーションを一切必要とせず、3つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Unsupervised cross-domain person re-identification (Re-ID) aims to adapt the information from the labelled source domain to an unlabelled target domain. Due to the lack of supervision in the target domain, it is crucial to identify the underlying similarity-and-dissimilarity relationships among the unlabelled samples in the target domain. In order to use the whole data relationships efficiently in mini-batch training, we apply a series of memory modules to maintain an up-to-date representation of the entire dataset. Unlike the simple exemplar memory in previous works, we propose a novel multi-level memory network (MMN) to discover multi-level complementary information in the target domain, relying on three memory modules, i.e., part-level memory, instance-level memory, and domain-level memory. The proposed memory modules store multi-level representations of the target domain, which capture both the fine-grained differences between images and the global structure for the holistic target domain. The three memory modules complement each other and systematically integrate multi-level supervision from bottom to up. Experiments on three datasets demonstrate that the multi-level memory modules cooperatively boost the unsupervised cross-domain Re-ID task, and the proposed MMN achieves competitive results.

研究の動機と目的

• ターゲットドメインに顕示的なIDアノテーションが存在しない教師なしクロスドメイン人物再識別という課題に対処すること。
• 脆弱なエグジンプリアレベルの類似度やヒューリスティッククラスタリングに依存する従来手法の限界を克服し、細分化された構造とグローバルなデータ構造の両方を捉えること。
• 複数の表現レベルからの補完的監視を統合することで、訓練の信頼性とモデルの汎化性能を向上させること。
• 全データセットの動的かつ最新のメモリ表現を維持することで、未ラベルのターゲットデータを効果的に活用すること。

提案手法

• 部分レベルメモリ（局所的特徴表現用）、インスタンスレベルメモリ（全体画像特徴用）、ドメインレベルメモリ（グローバルクラスタープロトタイプ用）の3つの補完的メモリモジュールを導入する。
• 各メモリモジュール上でk近傍探索を実行し、監視に適したサンプルを取得する。類似度は可学習な温度係数を有するコサイン距離で測定する。
• 訓練中にメモリプールを動的に更新することで、進化する特徴表現を反映させ、最新のデータ関係性を維持する。
• 3つのメモリレベルからの監視信号を階層的かつ体系的に統合し、類似度および非類似度推定を精緻化する。
• 訓練の安定化と識別性能の向上を図るため、損失関数に温度制御付きコサイン類似度を適用する。
• 特徴埋め込みのクラスタリングによりドメインレベルメモリを形成し、各スロットをクラスターセンタとして用い、グローバルなデータ分布を捉える。

実験結果

リサーチクエスチョン

• RQ1 マルチレベルメモリ表現は、細分化された構造とグローバルなデータ関係性を捉えることで、教師なしクロスドメイン人物再識別を向上させ得るか？
• RQ2 部分レベル、インスタンスレベル、ドメインレベルのメモリ統合は、ラベルが存在しない状況下で類似度および非類似度学習の信頼性をどのように向上させるか？
• RQ3 単一レベルのメモリやヒューリスティッククラスタリングと比較して、提案手法MMNは類似度推定における誤検出（偽陽性）をどの程度低減するか？
• RQ4 類似度関数におけるハイパーパrameter（k値および温度係数）への感受性はどの程度か？

主な発見

• 提案手法MMNは、Market-1501、DukeMTMC-Re-ID、MSMT17の3つの標準ベンチマークで最先端の性能を達成し、教師なしクロスドメイン設定における強力な汎化性能を示した。
• D→M設定（DukeからMarket）において、MMNは65.1%のmAPおよび86.0%のRank-1精度を達成し、従来の教師なし手法を上回った。
• ハイパーパrameterへの感受性が低く、最適な性能はk=10で達成され、温度係数α2 ∈ [2.0, 8.0] の広い範囲でモデルが安定した。
• 定性的な分析から、訓練が進むに従い、モデルの近傍選択が段階的に改善され、部分的な特徴とグローバル構造の手がかりに基づいて、同一IDのサンプルを正しく同定し、誤検出を排除することが確認された。
• クラスタリングの品質が訓練に伴い著しく向上し、より多くのサンプルが意味のある疑似クラスタに正しくグループ化された。これは特徴の識別性が向上したことを示している。
• 部分レベルとドメインレベルのメモリ統合により、インスタンスレベルメモリの誤りが効果的に是正され、特に異なるID間で外見が似通っているケースにおいて顕著に改善された。