[論文レビュー] Temporal Knowledge Propagation for Image-to-Video Person Re-identification

Xinqian Gu, Bingpeng Ma+3 more|arXiv (Cornell University)|Aug 11, 2019

Video Surveillance and Tracking Methods参考文献 35被引用数 6

ひとこと要約

本稿では、画像表現ネットワークに動画表現ネットワークからの時間的知識を転送するTemporal Knowledge Propagation (TKP) を提案する。トレーニング中に共有空間内での画像特徴と動画特徴の一致を強制することで、画像特徴のロバスト性を向上させ、モダリティの不均衡を軽減し、MARSで75.6%のトップ1正答率を達成する。これは最先端性能を達成している。

ABSTRACT

In many scenarios of Person Re-identification (Re-ID), the gallery set consists of lots of surveillance videos and the query is just an image, thus Re-ID has to be conducted between image and videos. Compared with videos, still person images lack temporal information. Besides, the information asymmetry between image and video features increases the difficulty in matching images and videos. To solve this problem, we propose a novel Temporal Knowledge Propagation (TKP) method which propagates the temporal knowledge learned by the video representation network to the image representation network. Specifically, given the input videos, we enforce the image representation network to fit the outputs of video representation network in a shared feature space. With back propagation, temporal knowledge can be transferred to enhance the image features and the information asymmetry problem can be alleviated. With additional classification and integrated triplet losses, our model can learn expressive and discriminative image and video features for image-to-video re-identification. Extensive experiments demonstrate the effectiveness of our method and the overall results on two widely used datasets surpass the state-of-the-art methods by a large margin. Code is available at: https://github.com/guxinqian/TKP

研究の動機と目的

• 画像から動画への人物再識別 (I2V Re-ID) における静止画像特徴と動画特徴の情報非対称性の課題に対処すること。
• 動画シーケンスから学習した時間的知識を転送することで、画像特徴表現を向上させること。
• 共有特徴空間における特徴のアライメントを通じて、画像特徴と動画特徴の性能差を縮小すること。
• 動画からの時間的コンテキストを活用することで、視覚的変動に強い画像特徴を強化すること。
• 画像ネットワークと動画ネットワークの共同最適化を通じて、I2V Re-IDベンチマークで最先端性能を達成すること。

提案手法

• 非局所ブロックを備えた動画表現ネットワークを用いて、動画フレーム間の長距離時間的依存関係をモデル化する。
• 画像表現ネットワークを訓練し、共有特徴空間内で動画ネットワークの出力と一致する特徴を予測するようにする。
• 知識蒸留に類似した損失関数（TKP損失）を適用し、バックプロパゲーションにより動画から画像特徴への時間的知識を伝達する。
• 分類損失と統合型トリプレット損失を統合して、特徴の識別性と一般化性能を向上させる。
• TKP損失からの勾配フローを両ネットワークに許容し、画像および動画表現の共同最適化を実現する。
• 時間的平均プーリングと非局所演算を用いて、知識転送に適したロバストな動画特徴を抽出する。

実験結果

リサーチクエスチョン

• RQ1 動画表現からの時間的知識が、静止画像表現へ効果的に転送可能かどうか。
• RQ2 動画ネットワークから画像ネットワークへの知識蒸留が、画像と動画特徴間の情報非対称性を軽減するかどうか。
• RQ3 非局所ブロックの導入が、I2V Re-IDにおける時間的知識伝達の性能に与える影響は。
• RQ4 TKP損失の勾配を動画ネットワークに逆伝播させることで、全体の性能と特徴品質に与える影響は。
• RQ5 分類損失や統合型トリプレット損失などの異なる損失関数が、最終的な再識別正答率に与える影響は。

主な発見

• MARSデータセットでは、TKPはトップ1正答率75.6%を達成し、ベースライン（67.1%）から8.5%の向上を示した。
• 本手法は最先端手法を大きく上回り、MARSにおけるmAPは65.1%に達した。
• 非局所ブロックを削除すると性能が低下し、長距離時間的依存関係のモデル化が、効果的な知識転送に不可欠であることが示された。
• TKP損失の勾配を動画ネットワークに流さないことで、V2V Re-ID性能が向上した。これは、動画表現がTKP損失によって最適化されると劣化する可能性があることを示唆している。
• 統合型トリプレット損失はI2V特化型トリプレット損失を上回り、最良の性能はT=4の動画クリップサイズで達成された。