[論文レビュー] Spatial-Temporal Synergic Residual Learning for Video Person Re-Identification

Xinxing Su, Yingtian Zou+4 more|arXiv (Cornell University)|Jul 16, 2018

Video Surveillance and Tracking Methods参考文献 6被引用数 4

ひとこと要約

本稿では、空間的残差特徴抽出、時間的残差RNN処理、および新しい空間的時間的スムーズモジュール（STSM）を統合することで、ノイズに強く、特徴表現を向上させる、パラメータ効率の良い深層学習フレームワークである空間的時間的協調残差ネットワーク（STSRN）を提案する。STSRNは、iLIDS-VID、PRID2011、MARSの各ベンチマークで最先端の性能を達成しており、従来手法と比較して顕著に少ないパラメータ数で実現している。

ABSTRACT

We tackle the problem of person re-identification in video setting in this paper, which has been viewed as a crucial task in many applications. Meanwhile, it is very challenging since the task requires learning effective representations from video sequences with heterogeneous spatial-temporal information. We present a novel method - Spatial-Temporal Synergic Residual Network (STSRN) for this problem. STSRN contains a spatial residual extractor, a temporal residual processor and a spatial-temporal smooth module. The smoother can alleviate sample noises along the spatial-temporal dimensions thus enable STSRN extracts more robust spatial-temporal features of consecutive frames. Extensive experiments are conducted on several challenging datasets including iLIDS-VID, PRID2011 and MARS. The results demonstrate that the proposed method achieves consistently superior performance over most of state-of-the-art methods.

研究の動機と目的

• 人物再識別における多様な空間的時間的情報を持つ動画シーケンスから、頑健で判別力のある表現を学ぶという課題に対処すること。
• 従来のモデルが動画データにおけるノイズ、ずれ、長距離の時間的依存関係に対処できないという限界を克服すること。
• 監視下でエンドツーエンドに最適化可能な、パラメータ効率的で、監視システムにおけるリアルタイム実装を可能にするフレームワークの開発

提案手法

• モデルは、受容 field を拡大した残差ブロックを用いて、フレームレベルの特徴を判別的に学習する空間的残差抽出器を採用する。
• 時間的残差プロセッサとして、残差RNN（ResRNN）に基づくアーキテクチャを用い、連続フレーム間の長距離依存関係をモデル化するとともに、冗長性を低減する。
• 空間的および時間的領域間での表現のなめらかな遷移を実現するため、空間的時間的スムーズモジュール（STSM）を導入する。これにより、変換過程でのノイズ低減が可能となる。
• エンドツーエンド学習を可能にするために、アイデンティティ損失と検証損失を用い、特徴学習とメトリクス学習の共同最適化を実現する。
• 推論効率を向上させるために、GoogLeNetのような重いバックボーンを避ける軽量なアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的特徴をどのように協調的に学習することで、動画人物再識別における頑健性を向上させられるか？
• RQ2 空間的および時間的ブランチにおける残差学習が、特徴表現の質とノイズ耐性にどの程度寄与するか？
• RQ3 軽量でパラメータ効率の良いネットワークは、複雑で大きなモデルを上回る性能を動画Re-IDベンチマークで発揮できるか？

主な発見

• iLIDS-VIDでは、DoubleResBlocks + TemRes + STSMを用いたSTSRNが、70.0%のランク-1正答率を達成し、ベースラインモデル（60.3%）を9.7ポイント上回った。
• PRID2011では、フルSTSRN構成を用いることで88.0%のランク-1正答率を達成し、ベースライン（75.0%）から13.0ポイントの向上を達成した。
• STSMモジュールの追加により、STSMを搭載しないモデルと比較して、iLIDS-VIDでは約2.0%、PRID2011では1.3%のランク-1正答率向上が確認された。
• 時間的残差RNN（TemRes）の導入により、非残差対応モデルと比較して、iLIDS-VIDで2.0%、PRID2011で1.0%のランク-1正答率向上が見られ、ノイズ耐性の向上が裏付けられた。
• PRID2011におけるクロスデータセット評価により、ドメインシフトに対しても強力な汎化能力を示した。