[論文レビュー] EANet: Enhancing Alignment for Cross-Domain Person Re-identification

Houjing Huang, Wenjie Yang+6 more|arXiv (Cornell University)|Dec 29, 2018

Video Surveillance and Tracking Methods参考文献 48被引用数 35

ひとこと要約

EANetは、クロスドメインの人物再識別における特徴の局所化とアライメントを向上させるために、パーツアラインドプーリング（PAP）とパーツセグメンテーション（PS）制約を提案する。キーポイントガイドドプーリングと、ラベルなしのターゲットデータに対する疑似セグメンテーション監視を活用することで、ソースドメインおよびゼロショットクロスドメイン設定の下で、Market1501、CUHK03、DukeMTMC-reIDで最先端の性能を達成し、従来手法比でmAPが最大8.8%向上した。

ABSTRACT

Person re-identification (ReID) has achieved significant improvement under the single-domain setting. However, directly exploiting a model to new domains is always faced with huge performance drop, and adapting the model to new domains without target-domain identity labels is still challenging. In this paper, we address cross-domain ReID and make contributions for both model generalization and adaptation. First, we propose Part Aligned Pooling (PAP) that brings significant improvement for cross-domain testing. Second, we design a Part Segmentation (PS) constraint over ReID feature to enhance alignment and improve model generalization. Finally, we show that applying our PS constraint to unlabeled target domain images serves as effective domain adaptation. We conduct extensive experiments between three large datasets, Market1501, CUHK03 and DukeMTMC-reID. Our model achieves state-of-the-art performance under both source-domain and cross-domain settings. For completeness, we also demonstrate the complementarity of our model to existing domain adaptation methods. The code is available at https://github.com/huanghoujing/EANet.

研究の動機と目的

• 新しい未観測ドメインに人物再識別（ReID）モデルを展開した際の性能低下の課題に対処すること。
• パーツ間の冗長性を低減させることで、ソースドメインにおけるモデルの汎化性能を向上させること。
• ターゲットドメインにIDラベルが存在しない状況でも、効果的なドメイン適応を可能にすること。
• 提案手法のコンponentsが既存のドメイン適応手法と相乗効果を発揮することを示すこと。

提案手法

• COCOで事前学習されたポーズ推定モデルから得られるキーポイント座標でガイドされる領域プーリングに、均一な水平ストリッププーリングを置き換えるパーツアラインドプーリング（PAP）を提案する。
• DensePoseで事前学習されたモデルから得られる疑似ラベルを用いて、ReID特徴マップ上でセグメンテーションヘッドを学習するパーツセグメンテーション（PS）制約を導入し、局所化精度の向上と冗長性の低減を図る。
• ラベルなしのターゲットドメイン画像で訓練中にPS制約を適用することで、正則化子として機能させ、効果的な自己教師付きドメイン適応を実現する。
• 2段階の訓練戦略を採用する：まずソースドメインでPAPとPSを用いて事前学習し、次にターゲットドメインでIDラベルなしのPS制約を用いて微調整する。
• COCOおよびDensePoseで事前学習されたモデルから得られるキーポイントとセグメンテーションの監視情報を活用し、ターゲットドメインでのアノテーションを必要とせずに特徴学習をガイドする。

実験結果

リサーチクエスチョン

• RQ1 均一なストリッププーリングと比較して、キーポイントガイドドパーツプーリングはクロスドメインReID性能を向上させることができるか？
• RQ2 ReID特徴にパーツセグメンテーション制約を課すことで、特徴の冗長性が低減され、局所化能力が向上するか？
• RQ3 ターゲットドメインのIDラベルが存在しない状況でも、PS制約は自己教師付きドメイン適応における有効な正則化子として機能するか？
• RQ4 提案手法のコンponentsは、ソースドメインおよびクロスドメインReID設定の両方で、最先端の手法と比較して優れているか？

主な発見

• PAP-S-PSモデルは、シングルドメイン設定下でMarket1501で85.6%、CUHK03で66.8%、DukeMTMC-reIDで74.6%のmAPを達成し、PCB+RPPをそれぞれ4.0%、9.3%、5.4%上回った。
• クロスドメイン転送設定下では、PAP-ST-PSモデルがM→Dで56.1%、D→Mで66.1%、C→Mで66.4%、C→Dで45.0%のmAPを達成し、HHLをそれぞれ8.8%、4.4%、10.8%、3.0%上回った。
• PAP-ST-PS-SPGAN-CFT変種は、M→Dで67.7%、D→Mで78.0%のmAPを達成し、特に挑戦的なゼロショット設定でも優れた性能を示した。
• 隣接する領域からのプールド特徴間のコサイン類似度が低くなったことから、PS制約が隣接パーツ間の特徴冗長性を顕著に低減していることが裏付けられた。
• 既存のドメイン適応技術と組み合わせた場合に性能が向上したことから、本手法はそれらと相乗効果を発揮することが示された。