[論文レビュー] Attribute-aware Identity-hard Triplet Loss for Video-based Person Re-identification

Zhiyuan Chen, Annan Li+2 more|arXiv (Cornell University)|Jun 13, 2020

Video Surveillance and Tracking Methods参考文献 26被引用数 8

ひとこと要約

本稿では、動画ベースの人物再識別における異なるポジティブ例間の距離ばらつき（DVDP）問題に対処するため、属性に配慮したアイデンティティ・ハードトリプレット損失（AITL）と、属性駆動型時空間的アテンション（ASTA）マルチタスクフレームワークを提案する。属性に配慮したメトリクス学習と統合的アイデンティティ・属性モデリングにより、クラス内ばらつきが低減され、性能が向上し、軽量なベースラインがMARSおよびDukeMTMC-VIDデータセットで最先端のモデルを上回ることを可能にする。

ABSTRACT

Video-based person re-identification (Re-ID) is an important computer vision task. The batch-hard triplet loss frequently used in video-based person Re-ID suffers from the Distance Variance among Different Positives (DVDP) problem. In this paper, we address this issue by introducing a new metric learning method called Attribute-aware Identity-hard Triplet Loss (AITL), which reduces the intra-class variation among positive samples via calculating attribute distance. To achieve a complete model of video-based person Re-ID, a multi-task framework with Attribute-driven Spatio-Temporal Attention (ASTA) mechanism is also proposed. Extensive experiments on MARS and DukeMTMC-VID datasets shows that both the AITL and ASTA are very effective. Enhanced by them, even a simple light-weighted video-based person Re-ID baseline can outperform existing state-of-the-art approaches. The codes has been published on https://github.com/yuange250/Video-based-person-ReID-with-Attribute-information.

研究の動機と目的

• バッチハードトリプレット損失における異なるポジティブ例間の距離ばらつき（DVDP）問題に対処すること。この問題はポーズや外見の変化に対して感受性を示す。
• 属性認識から得られる時空間的アテンションを学習することで、動画ベースのRe-IDにおける属性情報を効果的に統合すること。
• アイデンティティ認識、属性予測、メトリクス学習を統合的に最適化する統一されたマルチタスクフレームワークの構築。
• 属性駆動型アテンションとAITLの統合が、複雑なバックボーンアーキテクチャを必要とせずに、再識別精度を顕著に向上させることを示すこと。

提案手法

• 同じアイデンティティに属するポジティブサンプル間の属性距離に基づいてトリプレットを形成する、属性に配慮したアイデンティティ・ハードトリプレット損失（AITL）を提案。クラス内ばらつきの低減を目的とする。
• アイデンティティ分類、属性予測、埋め込みの3つのタスクを同時に学習する3ストリームマルチタスクネットワークを設計。DVDP低減を目的とする。
• 属性認識の出力をもとにアテンションマップを生成する、属性駆動型時空間的アテンション（ASTA）機構を導入。特徴抽出をガイドする。
• アイデンティティ、属性、AITLの目的関数を統合した損失関数を用い、モデルをエンドツーエンドで学習。
• フレームレベルでの属性認識を用いて空間的・時間的アテンションを生成。遮蔽や背景の雑音に対して高い耐性を発揮する。
• ASTAモジュールを適用して、属性にインスパイラされた判別性の高い領域や時間的セグメントに注目することで、特徴表現を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 属性に配慮したメトリクス学習は、動画Re-IDにおける異なるポジティブ例間の距離ばらつき（DVDP）を低減できるか？
• RQ2 属性情報は、動画Re-IDにおける時空間的アテンションを効果的にガイドすることができるか？
• RQ3 AITLとASTAを統合した軽量なRe-IDモデルは、最先端の性能を達成できるか？
• RQ4 属性駆動型アテンションの統合は、クロスデータセット評価においてドメインシフトに強い一般化性能を向上させるか？

主な発見

• 提案されたAITLおよびASTAフレームワークは、既存手法を顕著に上回り、軽量なベースラインがMARSで84.4% mAPおよび88.2% R1を達成。最先端性能を上回る。
• DukeMTMC-VIDでは、95.3% mAPおよび95.4% R1を達成。1アイデンティティあたりのポジティブサンプルが限られる状況でも強力な性能を示す。
• クロスデータセット評価においても強力な性能を維持。MARSで学習しDukeMTMC-VIDでテストした場合、51.3% mAPおよび53.0% R1を達成。ドメインシフトに対して高い耐性を示す。
• 計算量と性能のトレードオフ分析から、本モデルは精度と効率の最良のバランスを達成。他のアテンションベース手法と比較して両方の指標で優れている。
• アブレーションスタディにより、AITLおよびASTAの両方が性能向上に顕著な寄与をしていることが確認。特にAITLはクラス内ばらつき低減において顕著な効果を示す。
• 共同学習により属性認識の品質が向上。空間的・時間的アテンションは遮蔽や低品質フレームに起因する問題を緩和する。