[論文レビュー] Temporal Complementary Learning for Video Person Re-Identification

Ruibing Hou, Hong Chang+3 more|arXiv (Cornell University)|Jul 18, 2020

Video Surveillance and Tracking Methods参考文献 46被引用数 15

ひとこと要約

本稿では、動画の人物再識別を目的として、時間的サリエンシー除去（TSE）モジュールを用いてフレーム間で段階的に補完的特徴を抽出し、時間的サリエンシー強化（TSB）モジュールを用いて顕著な特徴を保持・強化することで、特徴の多様性と表現力の両方を向上させる、時間的補完的学習ネットワーク（TCLNet）を提案する。TCLNetは、MARS、DukeMTMC、Market-1501の複数のベンチマークで最先端の性能を達成し、トップ1精度で最大1.2%、mAPで最大2.7%の向上を示した。

ABSTRACT

This paper proposes a Temporal Complementary Learning Network that extracts complementary features of consecutive video frames for video person re-identification. Firstly, we introduce a Temporal Saliency Erasing (TSE) module including a saliency erasing operation and a series of ordered learners. Specifically, for a specific frame of a video, the saliency erasing operation drives the specific learner to mine new and complementary parts by erasing the parts activated by previous frames. Such that the diverse visual features can be discovered for consecutive frames and finally form an integral characteristic of the target identity. Furthermore, a Temporal Saliency Boosting (TSB) module is designed to propagate the salient information among video frames to enhance the salient feature. It is complementary to TSE by effectively alleviating the information loss caused by the erasing operation of TSE. Extensive experiments show our method performs favorably against state-of-the-arts. The source code is available at https://github.com/blue-blue272/VideoReID-TCLNet.

研究の動機と目的

• 連続する動画フレームから抽出される特徴の重複を軽減すること。特に、モデルが同じ局所的部位に注目してしまう問題に焦点を当てる。
• フレーム間で多様で補完的な視覚的手がかりを発見し、人物のアイデンティティをより包括的かつ判別力のある表現にすること。
• TSEモジュールによるサリエンシー除去によって生じる情報損失を、動画全体にわたり顕著な特徴を強化することで軽減すること。
• 既存のCNNにモジュールを挿入する形で、アーキテクチャの大幅な見直しを必要とせずに、効果的な補完的特徴学習を可能にすること。

提案手法

• 時間的サリエンシー除去（TSE）モジュールは、以前のフレームで活性化された特徴を除去する操作を用いて、前の学習器が注目した領域を抑制し、その後続の学習器が新たな補完的部位を発見するように誘導する。
• TSEは順序付きの学習器の系列を用い、各学習器が以前の学習器が注目した領域を事前に除去したフレームを処理することで、特徴の多様性を促進する。
• 時間的サリエンシー強化（TSB）モジュールは、時間的ヒントを用いて顕著な特徴をフレーム間で伝搬させ、最も判別力のある部位の表現力を強化する。
• TSBは顕著な情報のみを効率的に伝搬させるため、TSEと補完的であり、ノイズや汚損の導入リスクを低減する。
• TSEおよびTSBモジュールはプラグアンドプレイであり、任意のCNNバックボーンに挿入可能で、標準的な再識別損失関数を用いたエンドツーエンド学習が可能である。
• 本手法は、mAPおよびトップ1精度を指標として、MARS、DukeMTMC、Market-1501という3つの標準ベンチマークで評価された。

実験結果

リサーチクエスチョン

• RQ1 フレーム間で事前に活性化された特徴を段階的に除去することで、人物再識別の学習表現の多様性と判別力が向上するか？
• RQ2 フレーム間で顕著な特徴を伝搬させることで、最も判別力のある視覚的手がかりのロバスト性と表現力が向上するか？
• RQ3 補完的学習戦略は、標準的なデータオーグメンテーションや注目ベースのプーリングと比較して、性能および特徴の多様性において優れているか？
• RQ4 提案されたTSEおよびTSBモジュールを効果的に組み合わせることで、既存の最先端手法を上回る性能が得られるか？

主な発見

• TCLNetはMARSベンチマークでトップ1精度88.8%、mAP 83.0%を達成し、以前の最先端手法をトップ1精度で1.2%、mAPで2.7%上回った。
• TSEモジュール単体でも、ベースラインからmAPが2.7%、トップ1精度が1.3%向上し、ランダム除去やDropBlockを著しく上回った。
• 非局所（NL）モジュールと組み合わせた場合、TCLNet（TSE+TSB）はベースライン＋TSE＋NLよりもトップ1精度で1.2%高い結果を示し、TSBが他の特徴強化技術と補完的であることを示した。
• TSBモジュールは3次元畳み込みや非局所法と比較して、精度と効率の両面で優れており、パラメータ数が少なく、低品質なフレームに対してもよりロバストであった。
• t-SNE可視化により、TCLNetは特に外見が似通った人物（例：ブルーシャツ）に対して、より分離可能な特徴分布を学習していることが確認された。
• 特徴マップの可視化から、TSEにより異なるフレームが異なる身体部位（例：上半身対下半身）に注目することが可能となり、判別力が向上した。