[論文レビュー] Holistic Guidance for Occluded Person Re-Identification

Madhu Kiran, R. Gnana Praveen+4 more|arXiv (Cornell University)|Apr 13, 2021

Video Surveillance and Tracking Methods被引用数 11

ひとこと要約

本稿では、外部の監視（例：ポーズ推定）を用いずに、全体的（holistic）と遮断済み（occluded）データセット間の特徴分布の相違を活用して、生徒・教師モデルを訓練する包括的ガイダンス（HG）手法を提案する。教師は全体的データセットから学習し、クラス距離分布（DCD）を通じて真のクラス分布をモデル化する。生徒は、全体的と遮断済みデータセットのDCDの乖離を監視信号として用い、可視領域に注目するアテンションマップを生成する。自己符号化器と分布マッチングを統合した教師付き学習により、特徴のノイズ除去と分布の整合性を実現し、遮断された領域からの特徴を抑制するアテンションマップを生成することで、遮断済みおよび全体的ReIDベンチマークの両方で最先端の性能を達成する。

ABSTRACT

In real-world video surveillance applications, person re-identification (ReID) suffers from the effects of occlusions and detection errors. Despite recent advances, occlusions continue to corrupt the features extracted by state-of-art CNN backbones, and thereby deteriorate the accuracy of ReID systems. To address this issue, methods in the literature use an additional costly process such as pose estimation, where pose maps provide supervision to exclude occluded regions. In contrast, we introduce a novel Holistic Guidance (HG) method that relies only on person identity labels, and on the distribution of pairwise matching distances of datasets to alleviate the problem of occlusion, without requiring additional supervision. Hence, our proposed student-teacher framework is trained to address the occlusion problem by matching the distributions of between- and within-class distances (DCDs) of occluded samples with that of holistic (non-occluded) samples, thereby using the latter as a soft labeled reference to learn well separated DCDs. This approach is supported by our empirical study where the distribution of between- and within-class distances between images have more overlap in occluded than holistic datasets. In particular, features extracted from both datasets are jointly learned using the student model to produce an attention map that allows separating visible regions from occluded ones. In addition to this, a joint generative-discriminative backbone is trained with a denoising autoencoder, allowing the system to self-recover from occlusions. Extensive experiments on several challenging public datasets indicate that the proposed approach can outperform state-of-the-art methods on both occluded and holistic datasets

研究の動機と目的

• 実際の監視環境において、特徴品質とマッチング精度を低下させる遮断問題に継続的に対処すること。
• ポーズ推定やマスク生成などの高コストな外部監視に依存する既存手法の限界を克服すること。
• 全体的と遮断済みデータセット間のペアワイズ類似度（クラス距離分布）の分布的差異を活用し、自己教師付きのアテンション学習を誘導すること。
• 推論効率が高く、テスト時においてもポーズ推定、ボックスアノテーション、セグメンテーションマスクなどの追加情報が不要な、軽量なモデルを構築することにより、耐障害性と実装可能性を向上させること。

提案手法

• 教師が全体的データセットから学習し、クラス距離分布（DCD）を通じて真のクラス分布をモデル化する生徒・教師モデルを訓練する。
• 全体的と遮断済みデータセットのDCDの乖離を監視信号として用い、遮断済みの可視部位に注目するアテンションマップを生成するように生徒を訓練する。
• 自己符号化器を用いた統合的生成的・識別的CNNバックボーンを実装し、特徴学習中に遮断からの自己回復を可能にする。
• 識別損失、再構成損失（ノイズ除去用）、および最大平均差分（MMD）を組み合わせたマルチモーダル損失を導入し、全体的と遮断済みデータ間の特徴分布を整合させる。
• 推論時にアテンションマップを適用し、遮断された領域からの特徴を抑制し、可視で特徴的な部分に注目する。
• 訓練時においてはアイデンティティラベルのみを用い、ポーズ推定、ボックスアノテーション、セグメンテーションマスクなどの追加情報は一切不要とする。

実験結果

リサーチクエスチョン

• RQ1 全体的と遮断済みデータセット間のペアワイズマッチング距離の分布的差異を、遮断済みReIDにおけるアテンション学習を誘導するために効果的に活用できるか？
• RQ2 全体的データセットの分布に基づいて訓練された生徒・教師フレームワークは、外部監視なしに遮断に対する一般化性と耐障害性を向上させることができるか？
• RQ3 自己符号化器による統合的生成的・識別的バックボーンは、遮断された入力からの特徴回復を向上させることができるか？
• RQ4 本手法は、ポーズ推定やマスク監視に依存する最先端手法と比較して、精度と推論効率の面で優れているか？
• RQ5 本手法は遮断済みおよび非遮断済みReIDベンチマークの両方に対して、どの程度一般化可能か？

主な発見

• 提案されたHG手法は、ポーズ推定や複雑な後処理を必要としない手法と比較して、Occluded-ReIDベンチマークで最先端の性能を達成した。
• Market1501およびDuke-MTMCデータセットにおいても、HGモデルは全体的ReIDタスクで競争力のある精度を達成し、優れた一般化能力を示した。
• アブレーションスタディの結果、再構成損失、MMD、アテンション学習の組み合わせが最良の性能をもたらし、特にMMD損失が特徴分布の整合性に重要な役割を果たした。
• 本手法は、遮断済みデータセットにおけるベースラインの微調整手法や、データオーグメンテーションのみで訓練されたモデルと比較して顕著に優れた性能を示した。
• 定性的な結果から、HGが生成するアテンションマップは、頭部や脚部が遮断されている場合でも、可視領域を効果的に局在化できており、PGFAのようなポーズベースのアテンション手法を上回った。
• 最小限の追加パラメータとアイデンティティラベルおよび小さなアテンションヘッドのみに依存するため、リアルタイムデプロイメントに適した効率的で高い性能を達成した。