[論文レビュー] End-to-End Deep Kronecker-Product Matching for Person Re-identification

Yantao Shen, Tong Xiao+3 more|arXiv (Cornell University)|Jul 30, 2018

Video Surveillance and Tracking Methods参考文献 28被引用数 6

ひとこと要約

本稿では、特徴マップ間の確率的空間的対応関係を学習するためのクラメル積マッチング（KPM）モジュールを用いたエンド・ツー・エンドのディーブラーニングフレームワークを提案する。その後にソフトワープスキームを適用して特徴のアライメントを実現する。本手法はマルチスケールのアバクロスネットワークとリーマンス・セルフアテンションを統合し、Market-1501、CUHK03、DukeMTMCで最先端の性能を達成した。ベースライン比でのmAP上昇は、それぞれ6.5%、6.3%、7.7%であった。

ABSTRACT

Person re-identification aims to robustly measure similarities between person images. The significant variation of person poses and viewing angles challenges for accurate person re-identification. The spatial layout and correspondences between query person images are vital information for tackling this problem but are ignored by most state-of-the-art methods. In this paper, we propose a novel Kronecker Product Matching module to match feature maps of different persons in an end-to-end trainable deep neural network. A novel feature soft warping scheme is designed for aligning the feature maps based on matching results, which is shown to be crucial for achieving superior accuracy. The multi-scale features based on hourglass-like networks and self-residual attention are also exploited to further boost the re-identification performance. The proposed approach outperforms state-of-the-art methods on the Market-1501, CUHK03, and DukeMTMC datasets, which demonstrates the effectiveness and generalization ability of our proposed approach.

研究の動機と目的

• 大きなポーズおよび視点変動にさらされる状況下でのパーソンリ-IDの課題を、空間的対応関係と特徴アライメントを活用することで解決すること。
• CNNベースのRe-IDにおけるグローバルプーリングと直接的なベクトル化の限界を克服すること。これらは空間的レイアウトを無視し、画像間での特徴の不一致を引き起こす。
• 微分可能なワープメカニズムを通じて、識別的な空間的特徴マッチングを学習することで、類似度推定を向上させること。
• アバクロス構造とアテンションベースの特徴重み付けを統合することで、特徴表現のロバスト性を高めること。
• 標準的なRe-IDベンチマーク上でのアブレーションスタディを通じて、各モジュールの有効性を検証すること。

提案手法

• クラメル積マッチング（KPM）モジュールは、特徴ベクトルをフラット化したもののクラメル積を用いて、2つの人物特徴マップ間のマッチング信頼度マップを計算し、確率的空間的対応関係の学習を可能にする。
• 連続的でソフトなワープスキームにより、KPMの信頼度マップに基づいて1つの特徴マップを変形し、類似度計算の前段階で微分可能なエンド・ツー・エンドの特徴アライメントを実現する。
• リーマンス・セルフアテンション（RSA）モジュールは、空間的領域に学習可能な重みを割り当て、識別的なボディパーツを強調し、背景ノイズを抑制する。
• アバクロス構造に類似したネットワーク構造により、複数スケールの特徴マップを生成し、複数の解像度でマッチングとワープを実行することで、より高いロバスト性を実現する。
• 全フレームワークはトリプレット損失と温度スケーリング付きクロスエントロピーを用いてエンド・ツー・エンドで訓練され、メトリック学習とアテンションキャリブレーションの両方を最適化する。
• 最終的な類似度スコアは、変形された特徴を統合し、ソフトマックスを適用する全結合層を用いて計算される。

実験結果

リサーチクエスチョン

• RQ1 ソフトワープを併用したクラメル積マッチングは、空間的対応関係をエンド・ツー・エンドでモデル化することで、パーソンリ-IDの正確性を向上させることができるか？
• RQ2 類似度推定性能において、ソフト特徴ワープは直接的なマッチング信頼度入力と比較してどのように異なるか？
• RQ3 リーマンス・セルフアテンションは、識別的な領域に注目することで、どの程度特徴表現を向上させるか？
• RQ4 アバクロスアーキテクチャによるマルチスケール特徴学習は、リ-IDの正確性にどのような影響を与えるか？
• RQ5 KPMとRSAにおける温度ハイパーパrameterは、マッチングマップとアテンションマップの集中度および全体的な性能にどのように影響を与えるか？

主な発見

• 提案手法は、CUHK03データセットでmAP 89.2%、トップ1正答率91.1%を達成し、ベースライン比でmAPで6.3%、トップ1正答率で8.2%の向上を示した。
• アブレーションスタディの結果、KPMの後にソフトワープを除去すると、Market-1501でmAPが4.7%低下、CUHK03で11.2%低下、DukeMTMCで4.3%低下し、ソフトワープの重要性が明確になった。
• リーマンス・セルフアテンションを統合すると、Market-1501でmAPが1.4%、CUHK03で0.7%、DukeMTMCで2.1%向上し、トップ1正答率もそれぞれ1.3%、1.0%、0.7%向上した。
• アバクロス構造の導入により、ベースライン比でMarket-1501ではmAPが1.1%、トップ1正答率が1.3%向上、CUHK03ではmAPが1.2%、トップ1正答率が1.8%向上、DukeMTMCではmAPが4.9%、トップ1正答率が3.7%向上した。
• スケールごとの類似度スコアを平均化する（Baseline+HG ML）と、特徴の連結（Baseline+HG）に比べて、Market-1501でmAPが0.7%、トップ1正答率が0.9%劣り、連結の方がマルチスケール統合に有効であることが示された。
• 最適な温度ハイパーパrameterはτ_KPM = 0.05およびτ_RSA = 1.0であり、マッチングマップを高信頼度領域に集中させつつ、フォアグラウンド領域にわたってアテンションを広げることで、表6の結果により妥当性が裏付けられた。