[論文レビュー] Multi-scale 3D Convolution Network for Video Based Person Re-Identification

Jianing Li, Shiliang Zhang+1 more|arXiv (Cornell University)|Nov 19, 2018

Video Surveillance and Tracking Methods参考文献 26被引用数 29

ひとこと要約

本論文は、マルチスケール3次元（M3D）畳み込み層とリーマンスアテンション層（RAL）を用いた2ストリーム3次元畳み込みネットワークを提案し、動画ベースの人物再識別における空間的および時間的特徴を共同で学習する。2次元畳み込みニューラルネットワーク（2D CNN）にコンactなM3D層を挿入することで、わずか4MBのパラメータ増加で最先端の性能を達成し、MARS、PRID2011、iLIDS-VIDの既存の3次元畳み込みニューラルネットワーク（3D CNN）および最先端手法を上回った。

ABSTRACT

This paper proposes a two-stream convolution network to extract spatial and temporal cues for video based person Re-Identification (ReID). A temporal stream in this network is constructed by inserting several Multi-scale 3D (M3D) convolution layers into a 2D CNN network. The resulting M3D convolution network introduces a fraction of parameters into the 2D CNN, but gains the ability of multi-scale temporal feature learning. With this compact architecture, M3D convolution network is also more efficient and easier to optimize than existing 3D convolution networks. The temporal stream further involves Residual Attention Layers (RAL) to refine the temporal features. By jointly learning spatial-temporal attention masks in a residual manner, RAL identifies the discriminative spatial regions and temporal cues. The other stream in our network is implemented with a 2D CNN for spatial feature extraction. The spatial and temporal features from two streams are finally fused for the video based person ReID. Evaluations on three widely used benchmarks datasets, i.e., MARS, PRID2011, and iLIDS-VID demonstrate the substantial advantages of our method over existing 3D convolution networks and state-of-art methods.

研究の動機と目的

• 既存の3次元畳み込みニューラルネットワーク（3D CNN）が、大きなモデルサイズのためパラメータ数が多く、トレーニングが困難であるという限界を是正すること。
• 動画ベースの人物再識別に適したコンactで効率的なアーキテクチャにおいて、マルチスケール時間的特徴を効果的に学習すること。
• リーマンスアテンション機構を用いて空間的・時間的アテンションマスクを共同で学習することで、特徴の識別性を向上させること。
• 既存の3次元畳み込みニューラルネットワークおよび最先端手法と比較して、モデル効率性と性能のより良いトレードオフを達成すること。
• 2次元畳み込みニューラルネットワークによる空間的特徴とM3D-CNNによる時間的特徴を組み合わせた2ストリームアーキテクチャの有効性を示すこと。

提案手法

• 時間的畳み込みカーネルを異なる受容 field を持つ並列で実装するマルチスケール3次元（M3D）畳み込み層を導入し、マルチスケール時間的キューを捉える。
• M3D層を事前に訓練済みの2次元畳み込みニューラルネットワーク（2D CNN）バックボーンに挿入することで、最小限のパラメータ増加で効率的な時間的モデリングを実現する。
• リーマンスアテンション層（RAL）を設計し、リーマンスの形で空間的・時間的アテンションマスクを学習することで、識別性の高い特徴を強化し、ノイズを低減する。
• ネットワークは2ストリームアーキテクチャを採用：一方のストリームは2次元畳み込みニューラルネットワーク（2D CNN）を用いて空間的／外見的特徴を抽出し、他方のストリームはM3D-CNNを用いて時間的特徴を抽出する。
• 空間的および時間的特徴をネットワークの初期段階で統合することで、共同最適化と補完的学習を可能にする。
• モデルはソフトマックスを用いたクロスエントロピー損失でトレーニングされ、特徴マッチングはユークリッド距離によって実行される。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズの著しい増加なしに、コンパクトな3次元畳み込みニューラルネットワークが、動画ReIDのためのマルチスケール時間的特徴を効果的に学習できるか？
• RQ2 リーマンスアテンション機構の統合が、動画ReIDにおける時間的特徴学習をどのように向上させるか？
• RQ3 2次元畳み込みニューラルネットワークとM3D-CNNを組み合わせた2ストリームアーキテクチャが、単一ストリームまたはRNNベースの手法を上回るか？
• RQ4 提案手法は、計算効率性とトレーニングの容易さを維持しながら、最先端の性能を達成できるか？
• RQ5 MARS、PRID2011、iLIDS-VIDのようにデータスケールが異なる多様なベンチマークにおいて、モデルの一般化性能はどのように向上するか？

主な発見

• MARSデータセットにおいて、提案手法はmAP 74.06%、ランク-1正答率84.39%を達成し、以前の最先端手法DRSAをmAPで8.26ポイント上回った。
• ベースラインの2次元畳み込みニューラルネットワーク（2D CNN）のmAPを62.5%から69.9%に向上させ、わずか4MBのパラメータ増加で実現した。これは、高い効率性と有効性を示している。
• I3Dモデル（186MBパラメータ、MARSで62.8%のmAP）と比較すると、提案手法のM3D-CNNははるかに少ないパラメータで、より高い性能（mAP 74.06%）を達成した。
• PRID2011では、ランク-1正答率94.40%、ランク-5正答率100.00%を達成し、以前の最先端手法AMOCをランク-1で10.7ポイント上回った。
• iLIDS-VIDでは、ランク-1正答率74.00%、ランク-5正答率94.33%を達成し、マルチタスク学習とOIM損失を用いたDRSAでさえも上回った。
• アブレーションスタディにより、M3D層とRALの両方が性能向上に顕著に寄与しており、2ストリーム統合が最良の結果をもたらしたことが確認された。