[論文レビュー] Pose-driven Deep Convolutional Model for Person Re-identification

Chi Su, Jianing Li+4 more|arXiv (Cornell University)|Sep 25, 2017

Video Surveillance and Tracking Methods参考文献 32被引用数 38

ひとこと要約

本稿では、人物再識別（ReID）のためのポーズ駆動型深層畳み込みネットワーク（PDC）モデルを提案する。このモデルは、特徴埋め込みサブネット（FEN）を用いて、人体ポーズ情報を活用し、全身および局所的な身体部位を正規化することで、ポーズに依存しない強力な特徴を学習する。特徴重み付けサブネット（FWN）により、全身と局所特徴を適応的に統合し、Market-1501で88.70%のランク-1精度、VIPeRで51.27%の精度を達成し、3つのベンチマークデータセットで最先端の性能を発揮した。

ABSTRACT

Feature extraction and matching are two crucial components in person Re-Identification (ReID). The large pose deformations and the complex view variations exhibited by the captured person images significantly increase the difficulty of learning and matching of the features from person images. To overcome these difficulties, in this work we propose a Pose-driven Deep Convolutional (PDC) model to learn improved feature extraction and matching models from end to end. Our deep architecture explicitly leverages the human part cues to alleviate the pose variations and learn robust feature representations from both the global image and different local parts. To match the features from global human body and local body parts, a pose driven feature weighting sub-network is further designed to learn adaptive feature fusions. Extensive experimental analyses and results on three popular datasets demonstrate significant performance improvements of our model over all published state-of-the-art methods.

研究の動機と目的

• 人物再識別（ReID）における顕著なポーズ変動と視点差が特徴学習とマッチング性能を低下させるという課題に対処する。
• 従来の深層学習ReID手法における特徴工学的設計とエンドツーエンド学習の限界を克服する。
• 人体部位の手がかりとポーズ推定を活用し、特徴表現学習を向上させる。
• 全身と局所特徴の学習を同時に最適化する、エンドツーエンドで学習可能なアーキテクチャを設計する。
• 判別性の高い特徴に重みを付けることで類似度測定を強化する、適応的特徴統合メカニズムを開発する。

提案手法

• 14個の身体関節を検出する特徴埋め込みサブネット（FEN）を提案し、それらを用いてポーズ変換ネットワーク（PTN）により自動的に局所的身体部位を切り出し、正規化する。
• 局所的身体部位にアフィン変換を適用し、一貫性のあるポーズ不変空間に整列させることで、特徴埋め込みの質を向上させる。
• 人物IDラベルを用いて、全画像に対してソフトマックス損失を用いて全身特徴を学習する。
• 1つの非線形全結合層を備えた特徴重み付けサブネット（FWN）を導入し、全身と局所特徴の適応的統合重みを学習する。
• 全身特徴学習、局所特徴学習、特徴統合の3つを統合的に最適化することで、PDCモデル全体をエンドツーエンドで学習する。
• 二重ストリームアーキテクチャを採用し、FENが全身および局所特徴を処理し、FWNが入力のポーズと外観に基づいて動的統合重みを学習する。

実験結果

リサーチクエスチョン

• RQ1 人体部位とポーズ変動の明示的モデリングが、人物再識別における特徴の頑健性を向上させるか？
• RQ2 局所的身体部位のポーズ正規化が、特徴表現の質とReID精度に与える影響は何か？
• RQ3 学習された重み付けメカニズムを用いた適応的特徴統合は、固定または単純平均統合戦略を上回る性能を発揮するか？
• RQ4 ポーズ駆動型アーキテクチャをエンドツーエンドで学習することで、事前処理や手動で切り出した部位を用いる手法よりも優れた性能が得られるか？
• RQ5 特徴重み付けネットワークの層数が性能および一般化能力に与える影響は何か？

主な発見

• PDCモデルは、Market-1501で88.70%のランク-1精度を達成し、発表済みのすべての最先端手法を上回った。
• CUHK03では、ラベル付きプロトコルで88.18%、検出付きプロトコルで88.70%のランク-1精度を達成した。
• VIPeRでは51.27%のランク-1精度を達成し、大多数のベースラインを上回り、より大きな学習データセットを用いたSpindleに次いで2位であった。
• 非線形層を1つ持つFWN（W1）が最良の性能を示し、非線形性なし（W0）やより深いバージョン（W2–W4）を上回った。特にW2–W4は性能が低下した。
• 定性的な可視化例から、FWNがノイズの多い特徴を効果的に抑制し、統合表現における判別性の高い特徴を強化していることが示された。
• アブレーションスタディの結果、FENによるポーズ正規化とFWNによる適応的統合の両方が、性能向上に不可欠であり、併用することで最も優れた結果が得られた。