[論文レビュー] Sharp Attention Network via Adaptive Sampling for Person Re-identification

Chen Shen, Guo-Jun Qi+5 more|arXiv (Cornell University)|May 7, 2018

Video Surveillance and Tracking Methods被引用数 3

ひとこと要約

本論文は、人物再識別（re-ID）のためのより明確で離散的な注意マスクを生成するために、適応的サンプリングを用いたシャープな注意ネットワークを提案する。ソフトゲーミング機構の代わりに、微分可能Gumbel-Softmaxサンプリングを採用している。本手法は、CUHK03、Market-1501、DukeMTMC-reIDで最先端の性能を達成し、ラベル付きのCUHK03では88.3%のランク-1精度、検出済みのCUHK03では84.3%のランク-1精度を記録し、従来のソフト注意モデルや最先端手法を上回っている。

ABSTRACT

In this paper, we present novel sharp attention networks by adaptively sampling feature maps from convolutional neural networks (CNNs) for person re-identification (re-ID) problem. Due to the introduction of sampling-based attention models, the proposed approach can adaptively generate sharper attention-aware feature masks. This greatly differs from the gating-based attention mechanism that relies soft gating functions to select the relevant features for person re-ID. In contrast, the proposed sampling-based attention mechanism allows us to effectively trim irrelevant features by enforcing the resultant feature masks to focus on the most discriminative features. It can produce sharper attentions that are more assertive in localizing subtle features relevant to re-identifying people across cameras. For this purpose, a differentiable Gumbel-Softmax sampler is employed to approximate the Bernoulli sampling to train the sharp attention networks. Extensive experimental evaluations demonstrate the superiority of this new sharp attention model for person re-ID over the other state-of-the-art methods on three challenging benchmarks including CUHK03, Market-1501, and DukeMTMC-reID.

研究の動機と目的

• 人物再識別の分野において、微細で特徴的な特徴を局在化しにくいソフト注意マスクの曖昧さを解消すること。
• 1（注目）または0（非注目）の値をとる明確でより断固とした注意マスクを生成することで、特徴の局在化を向上させ、不確実性を低減すること。
• 非微分可能な離散的サンプリングを克服し、微分可能Gumbel-Softmaxサンプリングにより、シャープな注意機構のエンドツーエンド学習を可能にすること。
• 文脈に依存する特徴的キューが存在する複雑な再識別シナリオにおいて、文脈に配慮したフロントエンドユニットを統合することで性能を向上させること。
• 複数のベンチマークで、従来のソフトゲーミング注意モデルおよび最先端の再識別手法を上回ること。

提案手法

• 本手法は、ベルヌーイサンプリングを近似するための微分可能Gumbel-Softmaxサンプラーを採用し、離散的注意マスクを介したバックプロパゲーションを可能にしている。
• シャープな注意マスクは、畳み込み特徴マップから直接サンプリングすることで生成され、0または1に近い値をとるバイナリに近いマスクを形成し、注意の曖昧さを最小限に抑える。
• オリジナルのCNN特徴とシャープな注意特徴を同時に最適化するためのクロス特徴相互作用学習スキームを導入し、表現力を向上させた。
• 特に特徴的キューが文脈依存であるような複雑な視覚的文脈において、サンプリングをより効果的にガイドできるように、注意マスク生成器に文脈に配慮したフロントエンドユニットを追加した。
• Gumbel-Softmaxの緩和により、サンプリング操作を介した勾配の流れを可能にし、標準的なre-ID損失関数を用いてエンドツーエンドでモデルを学習した。
• 注意マスク生成器は、特徴的部位（例：特徴的な衣類）に注目するように訓練され、異なるカメラ間での人物マッチングを向上させた。

実験結果

リサーチクエスチョン

• RQ1 サンプリングベースの注意機構は、人物再識別において、ソフトゲーミング機構よりもシャープで断固とした注意マスクを生成できるか？
• RQ2 微分可能Gumbel-Softmaxサンプリングを用いることで、深層CNNにおける離散的注意マスクの効果的なエンドツーエンド学習が可能になるか？
• RQ3 シャープな注意マスクは、カメラ間で微細な特徴的特徴をよりよく局在化させることで、人物再識別精度を向上させられるか？
• RQ4 Market-1501、CUHK03、DukeMTMC-reIDといった標準ベンチマークにおいて、提案手法は最先端の再識別モデルと比較してどのように性能を発揮するか？
• RQ5 文脈に配慮したフロントエンドユニットの統合により、複雑または曖昧な視覚的シナリオにおけるシャープな注意の性能が向上するか？

主な発見

• CUHK03ラベル付きデータセットでは、88.3%のランク-1精度、98.8%のランク-5精度、99.4%のランク-10精度、85.9%のmAPを達成し、すべての先行最先端手法を上回った。
• CUHK03検出済みデータセットでは、84.3%のランク-1精度と82.2%のmAPを記録し、この挑戦的なベンチマークで新たな最先端を樹立した。
• Market-1501では、85.9%のランク-1精度と70.1%のmAPを達成し、2番目に良い手法（PDC）をランク-1で1.5%、mAPで6.7%上回った。
• DukeMTMC-reIDでは、77.9%のランク-1精度と58.8%のmAPを達成し、このデータセットでも新たな最先端を記録した。
• アブレーションスタディの結果、シャープな注意機構は、特に特徴的なバッグや衣類パターンといった微細な視覚的キューの局在化において、ソフト注意ベースラインよりも顕著に性能を向上させた。
• 文脈に配慮したフロントエンドユニットの統合により、さらに性能が向上し、複雑なシーンにおける注意のガイド化効果が明確に示された。