[論文レビュー] Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Patterns

Jianming Lv, Weihang Chen+2 more|arXiv (Cornell University)|Mar 20, 2018

Video Surveillance and Tracking Methods参考文献 17被引用数 29

ひとこと要約

本稿では、小規模なラベル付きソースデータセットからラベルなしのターゲットデータセットへ視覚的分類器を転移させ、歩行者の空間的・時間的パターンを学習することで、ラベルなしのクロスデータセット・ペルソナ再識別手法TFusionを提案する。この手法はベイジアンモデルを用いて空間的・時間的パターンと視覚的特徴を融合し、ラーニング・トゥ・ランク相互促進手順を繰り返し適用することで性能を向上させる。実世界のデータセット（GRIDやMarket1501など）において、教師あり手法と同等の最先端の性能を達成している。

ABSTRACT

Most of the proposed person re-identification algorithms conduct supervised training and testing on single labeled datasets with small size, so directly deploying these trained models to a large-scale real-world camera network may lead to poor performance due to underfitting. It is challenging to incrementally optimize the models by using the abundant unlabeled data collected from the target domain. To address this challenge, we propose an unsupervised incremental learning algorithm, TFusion, which is aided by the transfer learning of the pedestrians' spatio-temporal patterns in the target domain. Specifically, the algorithm firstly transfers the visual classifier trained from small labeled source dataset to the unlabeled target dataset so as to learn the pedestrians' spatial-temporal patterns. Secondly, a Bayesian fusion model is proposed to combine the learned spatio-temporal patterns with visual features to achieve a significantly improved classifier. Finally, we propose a learning-to-rank based mutual promotion procedure to incrementally optimize the classifiers based on the unlabeled data in the target domain. Comprehensive experiments based on multiple real surveillance datasets are conducted, and the results show that our algorithm gains significant improvement compared with the state-of-art cross-dataset unsupervised person re-identification algorithms.

研究の動機と目的

• ラベル付けが現実的でない大規模な実世界のカメラネットワークに、教師ありペルソナ再識別モデルを導入する課題に対処すること。
• 手動のアノテーションなしに、豊富なラベルなし監視データを活用することで、ラベルなしターゲットデータセットの性能を向上させること。
• 教師ありとラベルなしの再識別性能のギャップを、ラベルなしデータから学習した空間的・時間的運動パターンを統合することで是正すること。
• ラベルなしデータを用いて、視覚的分類器と融合分類器の両方を段階的に最適化する相互学習フレームワークを開発すること。

提案手法

• 小規模なラベル付きソースデータセットで訓練された視覚的分類器を、ラベルなしのターゲットデータセットへ転移させ、ラベルなしの方法で歩行者の空間的・時間的パターンを学習すること。
• 学習された空間的・時間的パターンと視覚的特徴を統合するベイジアン融合モデルを構築し、より強固な再識別分類器を形成すること。
• ラベルなしデータ上のランク付け結果を用いて、融合モデルが視覚的分類器の最適化を誘導する、ラーニング・トゥ・ランクに基づく相互促進手順を実装すること。
• フィードバックループ内で視覚的分類器と融合分類器の両方を繰り返し更新し、時間経過とともに汎化性能と性能を向上させること。
• ベイジアンモデルにおける調整可能な融合パラメータαとβを用い、α+β<1を満たすように設定することで、視覚的および空間的・時間的寄与のバランスをとること。
• モデルのロバストネスと性能を評価するために、ラベルなしクロスデータセット転送モードおよび教師ありファインチューニングモードの両方でモデルを適用すること。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし監視データから学習した空間的・時間的パターンは、クロスデータセット設定におけるペルソナ再識別性能を顕著に向上させることができるか？
• RQ2 視覚的特徴とラベルなしの空間的・時間的パターンを統合するベイジアン融合モデルは、再識別においてどの程度効果的か？
• RQ3 視覚的分類器と融合分類器の間でラーニング・トゥ・ランクに基づく相互促進メカニズムを適用することで、ラベルなし状況でも段階的な性能向上が達成できるか？
• RQ4 ラベルなし転送手法は、最先端の教師あり再識別モデルの性能にどの程度近づくか、あるいはそれを上回ることができるか？

主な発見

• TFusionは、VIPeR、GRID、CUHK01、Market1501を含むすべてのテストデータセットにおいて、最先端のラベルなしクロスデータセット転送手法[21]を大幅に上回っている。
• GRIDデータセットでは、Market1501から転移した場合、ランク1正解率63.2％を達成し、同データセットにおける教師あり最先端モデルをも上回っている。
• ラベルなしTFusionモデルは、その教師ありバージョン（TFusion-sup）に非常に近い性能を達成しており、ターゲットドメインにおけるラベルなしデータの有効な活用が示されている。
• α=0.25、β=0の融合モデルが最適な性能を示しており、適切に重み付けされた空間的・時間的パターンが顕著な寄与をしていることが示唆されている。
• ラーニング・トゥ・ランク最適化の3回の反復で性能が収束しており、実世界の展開には3回の反復で十分であることが示された。
• 本手法は多様なデータセットに良好に一般化しており、特に地下鉄環境における明確な歩行者運動パターンのおかげで、GRIDデータセットで顕著な向上が得られている。