[論文レビュー] Deep Co-attention based Comparators For Relative Representation Learning in Person Re-identification

Lin Wu, Yang Wang+2 more|arXiv (Cornell University)|Apr 30, 2018

Video Surveillance and Tracking Methods参考文献 33被引用数 9

ひとこと要約

本論文は、ペアド画像間の相関する領域に同時に注目することで相対的で動的な表現を学ぶ、新しいニューラルネットワークであるDeep Co-attention based Comparators (DCCs)を提案する。人間の視覚的注視を模倣し、反復的な共注意力を用いることで、DukeMTMC-reID、CUHK03、Market-1501で最先端の性能を達成し、Market-1501ではランク-1正答率86.7%、mAP 69.4%を達成した。

ABSTRACT

Person re-identification (re-ID) requires rapid, flexible yet discriminant representations to quickly generalize to unseen observations on-the-fly and recognize the same identity across disjoint camera views. Recent effective methods are developed in a pair-wise similarity learning system to detect a fixed set of features from distinct regions which are mapped to their vector embeddings for the distance measuring. However, the most relevant and crucial parts of each image are detected independently without referring to the dependency conditioned on one and another. Also, these region based methods rely on spatial manipulation to position the local features in comparable similarity measuring. To combat these limitations, in this paper we introduce the Deep Co-attention based Comparators (DCCs) that fuse the co-dependent representations of the paired images so as to focus on the relevant parts of both images and produce their extit{relative representations}. Given a pair of pedestrian images to be compared, the proposed model mimics the foveation of human eyes to detect distinct regions concurrent on both images, namely co-dependent features, and alternatively attend to relevant regions to fuse them into the similarity learning. Our comparator is capable of producing dynamic representations relative to a particular sample every time, and thus well-suited to the case of re-identifying pedestrians on-the-fly. We perform extensive experiments to provide the insights and demonstrate the effectiveness of the proposed DCCs in person re-ID. Moreover, our approach has achieved the state-of-the-art performance on three benchmark data sets: DukeMTMC-reID \cite{DukeMTMC}, CUHK03 \cite{FPNN}, and Market-1501 \cite{Market1501}.

研究の動機と目的

• 特徴抽出と類似度学習を別々に処理する既存の領域ベースの人物再識別手法の限界を解消し、画像間の依存関係をモデル化しないこと。
• 局所的特徴の固定された空間的位置に依存する問題を克服し、歩行者の画像を柔軟かつ動的に比較できるようにすること。
• 比較中のペアに条件づけられた相対的表現を学習することで、未観測の人物IDに対しても即座に高速に一般化できるようにすること。
• 人間の視覚的注視と注視の蓄積にインspiredされた、ペアド画像間の共起的で依存する特徴をモデル化することで、類似度学習を向上させること。
• 特徴学習と類似度測定を統合するフレームワークを構築し、分離されたアプローチによる性能の最適化が不十分である問題を回避すること。

提案手法

• ペアド画像からの共起的特徴を学ぶ共注意力エンコーダを備えたDeep Co-attention based Comparator (DCC)アーキテクチャを提案する。
• 2つの画像を交互に繰り返し走査し、関連する領域に注目することで類似度推定を段階的に改善する再帰的コンパレータを実装する。
• ペア比較における各画像の初期特徴を抽出するために、二重ブランチの畳み込みバックボーンを用いる。
• 片方の画像の文脈に基づいてもう一方の画像の関連部分に注目することで、画像間の依存関係をモデル化する共注意力機構を適用する。
• 各ペアに特化した動的で相対的な表現を生成する微分可能な類似度推定モジュールを統合する。
• 対照的損失を用いてエンド・ツー・エンドに学習し、クロスカメラ再識別を向上させるための判別性の高い相対的表現を最適化する。

実験結果

リサーチクエスチョン

• RQ1 類似度学習中に画像間の依存関係をモデル化する共注意力機構は、人物再識別を向上させることができるか？
• RQ2 ペアに条件づけられた動的相対表現を学習することで、未観測の人物IDに対する一般化性能が向上するか？
• RQ3 交互に両方の画像の特徴に注目する再帰的コンパレータは、ワンパス注視や固定された空間プーリングに比べて優れているか？
• RQ4 エンド・ツー・エンドで特徴表現と類似度測定を同時に学習するアプローチは、分離されたアプローチと比べてどのように優れているか？
• RQ5 共注意力は、部品ベースの再識別における空間的操作や固定された領域提案に依存する度合いをどの程度軽減できるか？

主な発見

• DCCsは、単一クエリ評価においてMarket-1501データセットで最先端の性能を達成し、ランク-1正答率86.7%、mAP 69.4%を記録した。
• メトリクス学習（DCCs+KISSME）を適用した場合、ランク-1正答率は88.4%に向上し、Market-1501で現在最も高い結果となった。
• DukeMTMC-reIDでは、以前の最先端手法（GOG）をランク-1正答率14.5ポイント上回った。
• DukeMTMC-reIDにおいてDCCsはSVDNetをランク-1で3.3ポイント、mAPで2.4ポイント上回り、一般化性能と特徴品質の向上を示した。
• UMDL や PUL などの教師なし手法と比較して、DCCsはデータ依存的でエンド・ツー・エンドの相対的表現学習により顕著に優れた性能を達成した。
• DCCsは、固定された空間アラインメントに依存するのではなく共起的特徴を学習するため、部品ベースのモデル（SpindleNet や Part-aligned）を上回った。