[論文レビュー] Three-Stream Convolutional Networks for Video-based Person Re-Identification

Yu Zeng, Tianrui Li+4 more|arXiv (Cornell University)|Nov 22, 2017

Video Surveillance and Tracking Methods参考文献 19被引用数 3

ひとこと要約

本論文では、3つのストリームで構成されるマルチストリームアーキテクチャであるThree-Stream Convolutional Networks (TSCN) を提案する。TSCNは、最大プーリング、平均プーリング、ストライド2の畳み込みという異なるプーリング戦略を用いて、補完的な特徴を学習することで、動画ベースの人物再識別を向上させる。これらのストリームを統合し、マルチスケールおよびアップサンプリング戦略を組み合わせることで、iLIDS-VID、PRID-2011、MARS データセットにおいて最先端の性能を達成し、以前のモデルと比較して最高で2.6%のランク5精度向上を達成した。

ABSTRACT

This paper aims to develop a new architecture that can make full use of the feature maps of convolutional networks. To this end, we study a number of methods for video-based person re-identification and make the following findings: 1) Max-pooling only focuses on the maximum value of a receptive field, wasting a lot of information. 2) Networks with different streams even including the one with the worst performance work better than networks with same streams, where each one has the best performance alone. 3) A full connection layer at the end of convolutional networks is not necessary. Based on these studies, we propose a new convolutional architecture termed Three-Stream Convolutional Networks (TSCN). It first uses different streams to learn different aspects of feature maps for attentive spatio-temporal fusion of video, and then merges them together to study some union features. To further utilize the feature maps, two architectures are designed by using the strategies of multi-scale and upsampling. Comparative experiments on iLIDS-VID, PRID-2011 and MARS datasets illustrate that the proposed architectures are significantly better for feature extraction than the state-of-the-art models.

研究の動機と目的

• 動画ベースの人物再識別ネットワークにおける最大プーリングと全結合層の限界を解消すること。
• 異なる特徴学習戦略を有するマルチストリームアーキテクチャが、単一ストリームモデルよりも性能を向上させるかを検証すること。
• マルチスケールおよびアップサンプリング技術が、学習済み特徴マップの再利用と向上に有効であるかを調査すること。
• 最終全結合層に依存せずに特徴マップを十分に活用するネットワークアーキテクチャを設計すること。
• 標準的な動画再識別ベンチマークで最先端の性能を達成すること。

提案手法

• TSCNアーキテクチャは、3つの並列ストリームを用い、それぞれが異なる特徴抽出戦略（最大プーリング、平均プーリング、ストライド2の畳み込み）を適用することで、特徴マップの異なる側面を捉える。
• 3つのストリームの出力を連結・統合し、補完的な特徴を組み合わせた共同表現を学習する。
• マルチスケール特徴抽出とアップサンプリングを統合することで、性能を向上させる2つの拡張版—Multi-TSCN および Multi-Two-SCN—を提案する。
• 最終全結合層を避け、エンドツーエンド学習のためにグローバル平均プーリングと分類ヘッドに依存する。
• 時間的動きを捉えるためにオプティカルフロー特徴を入力とし、RGBフレームと組み合わせてスパatiotemporalモデリングを実現する。
• 標準的な再識別プロトコルに従い、iLIDS-VID、PRID-2011、MARS データセットでエンドツーエンド学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 異なるプーリング戦略を用いた複数ストリームのアプローチが、単一ストリームモデルと比較して動画ベースの人物再識別における特徴表現を向上させるか？
• RQ2 マルチスケールおよびアップサンプリング戦略は、学習済み特徴マップの再利用を向上させ、性能を向上させるか？
• RQ3 このタスクにおいて、ネットワークの最終段階に全結合層が必要か？
• RQ4 3ストリームアーキテクチャは、単一ストリームおよび2ストリームモデルと比較して、精度および耐性面で優れているか？
• RQ5 異なるストリームの組み合わせと統合戦略は、多様なデータセットにおける最終的な再識別精度にどのように影響を与えるか？

主な発見

• 提案されたTSCNモデルは、iLIDS-VIDでランク1精度66.5%、PRID-2011で79.2%を達成し、同じオプティカルフローアルゴリズムを用いたAMOCを含む、すべての先行最先端手法を上回った。
• Multi-TSCNバージョンは、iLIDS-VIDでランク1精度67.5%、PRID-2011で78.8%を達成し、マルチスケールおよびアップサンプリング戦略によるさらなる向上を示した。
• MARSデータセットでは、TSCNモデルがランク1精度45.6%を達成し、RNN-CNN（40.0%）およびASTPN（44.0%）を上回り、大規模ベンチマークでも高い耐性を示した。
• iLIDS-VIDでは、最良の単一ストリームベースラインと比較して、3ストリームアーキテクチャがランク5精度を2.6ポイント向上させ、ストリーム間の強い補完性を示した。
• アブレーションスタディの結果、全結合層は不要であることが確認され、パrameter数を削減しながらもグローバル平均プーリングが優れた性能を発揮した。
• 異なる課題を有するデータセットに対して、モデルの性能は安定しており、強力な汎化能力と効果的な特徴活用が示された。