[論文レビュー] AXM-Net: Cross-Modal Context Sharing Attention Network for Person Re-ID.

Ammarah Farooq, Muhammad Awais+2 more|arXiv (Cornell University)|Jan 19, 2021

Video Surveillance and Tracking Methods参考文献 33被引用数 4

ひとこと要約

AXM-Net は、学習可能なコンテキスト共有注目メカニズムとクロスモーダルアフィニティ損失を活用することで、人物再識別における意味的に整合された視覚的およびテキスト的表現を学習する CNN ベースのクロスモーダル注目ネットワークです。エンド・トゥ・エンドの学習と局所特徴への細分化された注目により、人物検索およびクロスモーダル Re-ID ベンチマークの両方で、従来手法を顕著に上回る最先端の性能を達成しています。

ABSTRACT

Cross-modal person re-identification (Re-ID) is critical for modern video surveillance systems. The key challenge is to align inter-modality representations according to semantic information present for a person and ignore background information. In this work, we present AXM-Net, a novel CNN based architecture designed for learning semantically aligned visual and textual representations. The underlying building block consists of multiple streams of feature maps coming from visual and textual modalities and a novel learnable context sharing semantic alignment network. We also propose complementary intra modal attention learning mechanisms to focus on more fine-grained local details in the features along with a cross-modal affinity loss for robust feature matching. Our design is unique in its ability to implicitly learn feature alignments from data. The entire AXM-Net can be trained in an end-to-end manner. We report results on both person search and cross-modal Re-ID tasks. Extensive experimentation validates the proposed framework and demonstrates its superiority by outperforming the current state-of-the-art methods by a significant margin.

研究の動機と目的

• 背景ノイズを抑える一方で、クロスモーダル人物再識別における視覚的およびテキスト的表現の整合を図ることに挑戦する。
• データから特徴の整合を暗黙的に学習できる、学習可能なエンド・トゥ・エンドでトレーニング可能なアーキテクチャを開発する。
• モダリティ内注目メカニズムを用いて、局所的詳細に注目することで特徴表現を向上させる。
• 新規のクロスモーダルアフィニティ損失関数を用いて、クロスモーダルマッチングのロバスト性を向上させる。
• 人物検索およびクロスモーダル Re-ID タスクの両方で最先端の性能を達成する。

提案手法

• ネットワークの入力として、視覚的およびテキスト的モダリティからの複数のストリーム特徴マップを採用する。
• 共有された意味的コンテキストに基づいて、動的にクロスモーダル特徴を整合化する、学習可能なコンテキスト共有意味的整合化ネットワークを導入する。
• 各モダリティ内での判別的局所特徴を強調するために、補完的なモダリティ内注目メカニズムを適用する。
• 陽性ペア間のマッチングを促進し、陰性ペアを結合埋め込み空間で分離するように設計されたクロスモーダルアフィニティ損失を設計する。
• 特徴の整合化と表現学習を同時に最適化できるように、AXM-Net アーキテクチャ全体をエンド・トゥ・エンドで学習する。
• モダリティ固有の特徴と共有コンテキストの相互作用を活用して、モダリティ間での意味的一致性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なコンテキスト共有注目メカニズムは、明示的な教師信号なしに、視覚的およびテキスト的特徴を効果的に整合化できるか？
• RQ2 モダリティ内注目メカニズムは、クロスモーダル人物再識別における局所特徴の判別性をどのように向上させるか？
• RQ3 提案されたクロスモーダルアフィニティ損失は、標準的な対照的損失と比較して、マッチングのロバスト性をどの程度向上させるか？
• RQ4 統合されたネットワークアーキテクチャのエンド・トゥ・エンド学習は、パイプライン型または2段階アプローチを上回る性能を発揮できるか？
• RQ5 モデルは、人物検索およびクロスモーダル Re-ID ベンチマークの両方で効果的に一般化できるか？

主な発見

• AXM-Net は、人物検索およびクロスモーダル Re-ID ベンチマークの両方で最先端の性能を達成しており、既存手法を顕著に上回っている。
• クロスモーダルアフィニティ損失の統合により、より判別性の高い特徴埋め込みが得られ、ハードな陰性サンプルでのマッチング精度が向上した。
• モダリティ内注目メカニズムは、関連する局所的特徴に注目する能力を向上させ、特徴表現の向上に寄与した。
• コンテキスト共有注目メカニズムにより、手作業による整合化戦略への依存が低減され、データ駆動型の暗黙的特徴整合化が可能になった。
• AXM-Net のエンド・トゥ・エンド学習は、段階的学習アプローチと比較して、優れた一般化性能とロバスト性を示した。
• モデルは多様な監視シナリオにおいて優れた性能を示しており、モダリティ間での意味的コンテンツの効果的な整合性が図られていることが示された。