[論文レビュー] Learning Compact Appearance Representation for Video-based Person Re-Identification

Wei Zhang, Shengnan Hu+2 more|arXiv (Cornell University)|Feb 21, 2017

Video Surveillance and Tracking Methods参考文献 23被引用数 15

ひとこと要約

本論文は、歩行サイクルから代表的なフレームを選択し、複数の畳み込みニューラルネットワーク（CNN）アーキテクチャと外観プーリングを用いて特徴を統合することで、コン act かつ判別性の高い外観表現を学習する動画ベースの人物再識別手法を提案する。本手法は、時間的動きの手がかりに依存するのではなく、顕著な視覚的外観に注目することで、全動画シーケンスや動きモデリングに依存する手法よりも優れた性能をiLIDS-VID、PRID 2011、SDU-VIDで達成した。

ABSTRACT

This paper presents a novel approach for video-based person re-identification using multiple Convolutional Neural Networks (CNNs). Unlike previous work, we intend to extract a compact yet discriminative appearance representation from several frames rather than the whole sequence. Specifically, given a video, the representative frames are selected based on the walking profile of consecutive frames. A multiple CNN architecture incorporated with feature pooling is proposed to learn and compile the features of the selected representative frames into a compact description about the pedestrian for identification. Experiments are conducted on benchmark datasets to demonstrate the superiority of the proposed method over existing person re-identification approaches.

研究の動機と目的

• 視点の変化、隠蔽、背景の雑音といった課題にさらされる動画監視環境における人物再識別の課題に対処すること。
• 全フレームを処理するのではなく、代表的なフレームに注目することで動画シーケンスの冗長性を低減すること。
• キーフレーム間の顕著な視覚的特徴から、コンパクトだが判別性の高い外観記述子を学習することで、識別精度を向上させること。
• 歩行などの動きに基づく手がかり（例：歩き方）から、衣服やテクスチャなどの外観に基づく手がかりに焦点を移すことで、人間の識別に類似した信頼性の高い特徴を活用すること。
• 複数のフレームからの外観特徴を1つの強固な記述子に効果的にプールする深層学習フレームワークを構築すること。

提案手法

• 歩行サイクルにおける明確な動作プリミティブに対応するフローエネルギープロファイル（FEP）信号の局所的最大値および最小値を用いて、代表的なフレームを同定する。
• 各CNNが1つの代表フレームを処理することで、深層外観特徴を抽出する複数のCNNアーキテクチャを採用する。
• 最も判別性の高い特徴を代表フレーム間で集約するための外観プール層を導入し、1つのコンパクトな記述子を生成する。
• 次元削減のための主成分分析（PCA）を適用し、最適な性能が100次元で達成された。
• 最終的な特徴記述子を用いて、人物再識別の類似度計算を実行し、カメラ間での効率的かつ正確なマッチングを可能にする。
• フレーム選択と次元削減に関するアブレーションスタディを実施し、iLIDS-VID、PRID 2011、SDU-VID、MARSなどのベンチマークデータセット上でフレームワークを訓練および評価した。

実験結果

リサーチクエスチョン

• RQ1 少数のキーフレームから導出されるコンパクトな外観表現が、全動画シーケンスを用いる手法を上回る性能を発揮できるか？
• RQ2 動きの手がかりに代えて外観特徴に注目することで、隠蔽や視点変化といった困難な状況下でもより優れた再識別性能が得られるか？
• RQ3 歩行サイクルのダイナミクスに基づく代表フレーム選択が、特徴の判別性を向上させるとともに冗長性を低減できるか？
• RQ4 RNNベースや光流に基づくアプローチにおける時間的モデリングと比較して、複数フレームからの外観プールはどのように性能を発揮するか？
• RQ5 性能と効率のバランスを考慮した場合、最適な代表フレーム数と最終記述子の次元数は何か？

主な発見

• iLIDS-VIDでは、60.2%のランク-1正解率を達成し、2番目に優れた手法（RNN+OF）を2.2%上回った。
• PRID 2011では、83.3%のランク-1正解率を達成し、2番目に優れた手法（CNN+XQDA）を6%上回った。
• SDU-VIDでは、89.3%のランク-1正解率を達成し、前回最良手法（STA）に対して14.3%の顕著な向上を示した。
• PCAの最適次元は100であり、すべてのデータセットで最高の性能が得られ、SDU-VIDではランク-1正解率が89.3%にピークに達した。
• より困難なMARSデータセットでは、55.5%のランク-1正解率を達成し、フレーム品質や検出精度の制限にもかかわらず、その頑健性を示した。
• 背景ノイズや不要な干渉要因に対して、動きベースの手法よりも感受性が低く、キーフレームからの安定した視覚的外観手がかりに依存しているためである。