[論文レビュー] Attention: A Big Surprise for Cross-Domain Person Re-Identification

Haijun Liu, Jian Cheng+2 more|arXiv (Cornell University)|May 30, 2019

Video Surveillance and Tracking Methods参考文献 58被引用数 9

ひとこと要約

本論文は、ターゲットドメインデータを一切使用せずに、モデルの汎化性と適応性を向上させる、シンプルでありながら非常に効果的な注目メカニズムを用いたクロスドメイン人物再識別手法を提案する。事前学習済みモデルにスキップ接続を介してチャネルおよび空間的注目メカニズムを統合することで、複雑な補助的ターゲットドメイン情報に依存する手法を上回る最先端の性能を達成する。特にゼロショットクロスドメイン設定において顕著な優位性を示す。

ABSTRACT

In this paper, we focus on model generalization and adaptation for cross-domain person re-identification (Re-ID). Unlike existing cross-domain Re-ID methods, leveraging the auxiliary information of those unlabeled target-domain data, we aim at enhancing the model generalization and adaptation by discriminative feature learning, and directly exploiting a pre-trained model to new domains (datasets) without any utilization of the information from target domains. To address the discriminative feature learning problem, we surprisingly find that simply introducing the attention mechanism to adaptively extract the person features for every domain is of great effectiveness. We adopt two popular type of attention mechanisms, long-range dependency based attention and direct generation based attention. Both of them can perform the attention via spatial or channel dimensions alone, even the combination of spatial and channel dimensions. The outline of different attentions are well illustrated. Moreover, we also incorporate the attention results into the final output of model through skip-connection to improve the features with both high and middle level semantic visual information. In the manner of directly exploiting a pre-trained model to new domains, the attention incorporation method truly could enhance the model generalization and adaptation to perform the cross-domain person Re-ID. We conduct extensive experiments between three large datasets, Market-1501, DukeMTMC-reID and MSMT17. Surprisingly, introducing only attention can achieve state-of-the-art performance, even much better than those cross-domain Re-ID methods utilizing auxiliary information from the target domain.

研究の動機と目的

• ターゲットドメインのアノテーションに依存せずに、クロスドメイン人物再識別におけるモデルの汎化性と適応性の課題に対処すること。
• 注目メカニズムそのもので、ドメインシフトに伴う特徴の識別性と頑健性を著しく向上させられることを検証すること。
• 補助的ターゲットデータを用いた複雑なドメイン適応手法よりも、事前学習済みモデルへの単純な注目モジュール統合が優れた性能を発揮することを示すこと。
• ソースドメインデータと注目ベースの特徴学習にのみ依存する、クロスドメインRe-IDの強力なベースラインを確立すること。

提案手法

• 長距離依存性に基づく（例：CBAM）および直接生成に基づく（例：squeeze-and-excitation）2種類の注目メカニズムを、空間的およびチャネル的次元に別々または併用して導入する。
• 事前学習済みCNN（例：ResNet）の複数段階の特徴マップに注目モジュールを適用し、判別性の高い領域およびチャネルに適応的に注目を向ける。
• オリジナルの特徴と注目変換済み特徴をスキップ接続で連結することで、高レベルの意味的特徴と中レベルの空間的詳細を両立させる。
• ターゲットデータの微調整なしに、ソースドメインでの標準的な分類損失（例：ソフトマックス損失およびトリプレット損失）を用いて、エンドツーエンドでモデルを学習する。
• Market-1501、DukeMTMC-reID、MSMT17の複数のデータセットを用い、単一ドメインおよびクロスドメイン設定の両方で評価する。
• 注目モジュールの統合前に、アーキテクチャの変更と学習戦略の最適化により、強力なベースラインを確立する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムそのもので、クロスドメイン人物再識別におけるモデルの汎化性と適応性を著しく向上させられるか？
• RQ2 ターゲットドメインデータを一切使用せずに、事前学習済みモデルに注目を統合することで、補助的ターゲット情報に依存する既存手法を上回るか？
• RQ3 大規模なドメインシフト（例：Market-1501 対 DukeMTMC-reID）を伴うドメイン間で、注目メカニズムが特徴の識別的学習をどの程度効果的に向上させるか？
• RQ4 空間的およびチャネル的注目を組み合わせることで、ゼロショットクロスドメインRe-IDにおける特徴表現の質にどのような影響を与えるか？
• RQ5 単純な注目モジュールが、複雑なドメイン適応フレームワークを上回る性能を発揮できるか？

主な発見

• 提案手法であるADFLは、広範な補助的ターゲットドメイン情報に依存する手法を上回る、クロスドメインRe-IDベンチマークで最先端の性能を達成した。
• Market-1501 → DukeMTMC-reIDでは、Rank-1が56.8%、mAPが37.4%を達成し、最良の先行手法（PAP-ST-PS）をRank-1で10.4%、mAPで1.4%上回った。
• DukeMTMC-reID → Market-1501では、Rank-1が67.2%、mAPが36.3%を達成し、次善の手法（PAP-ST-PS）をRank-1で1.1%、mAPで0.5%上回った。
• 単一ドメイン設定でも強力な性能（例：MSMT17 → MSMT17でRank-1が78.2%）を示しており、その頑健性と汎化能力を裏付けた。
• アブレーションスタディの結果、特にマルチレベル特徴を保持するスキップ接続と組み合わせた場合に、注目統合が特徴の識別性を著しく向上させることを確認した。
• 結果から、注目メカニズムそのもので優れたクロスドメイン汎化性を達成できることを示し、このようなタスクにおいて複雑なドメイン適応が必須であるという仮定に疑問を呈した。