[論文レビュー] On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification

Yunqi Miao, Nianchang Huang+3 more|arXiv (Cornell University)|Jan 11, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文は、可視赤外線人物再識別（VI-ReID）の性能を向上させるために、ポーズ推定を補助タスクとして活用する新規二ストリームフレームワークを提案する。階層的特徴制約を用いた知識蒸留により、ポーズ推定とReIDを統合的に学習することで、モダリティ共有かつアイデンティティ関連の特徴を学習し、RegDBで20%のmAP向上を達成し、最先端性能を実現した。

ABSTRACT

Visible-infrared person re-identification (VI-ReID) has been challenging due to the existence of large discrepancies between visible and infrared modalities. Most pioneering approaches reduce intra-class variations and inter-modality discrepancies by learning modality-shared and ID-related features. However, an explicit modality-shared cue, i.e., body keypoints, has not been fully exploited in VI-ReID. Additionally, existing feature learning paradigms imposed constraints on either global features or partitioned feature stripes, which neglect the prediction consistency of global and part features. To address the above problems, we exploit Pose Estimation as an auxiliary learning task to assist the VI-ReID task in an end-to-end framework. By jointly training these two tasks in a mutually beneficial manner, our model learns higher quality modality-shared and ID-related features. On top of it, the learnings of global features and local features are seamlessly synchronized by Hierarchical Feature Constraint (HFC), where the former supervises the latter using the knowledge distillation strategy. Experimental results on two benchmark VI-ReID datasets show that the proposed method consistently improves state-of-the-art methods by significant margins. Specifically, our method achieves nearly 20$\%$ mAP improvements against the state-of-the-art method on the RegDB dataset. Our intriguing findings highlight the usage of auxiliary task learning in VI-ReID.

研究の動機と目的

• 可視赤外線人物再識別（VI-ReID）における大きなモダリティ差異とクラス内変動を解消すること。
• 照明や視点の変化に対して頑健な、明示的なモダリティ共有のヒントとしてのボディキーポイントを活用すること。
• グローバルおよびローカル特徴の学習を、階層的監視によって一貫性を保つことで同期すること。
• エンドツーエンドの統合的学習により、ReIDとポーズ推定を同時に最適化することで特徴の識別性を向上させること。
• 補助タスク学習と知識蒸留を用いて、ベンチマークVI-ReIDデータセットで最先端の性能を達成すること。

提案手法

• 人体キーポイントからモダリティ共有特徴を抽出するため、補助タスクとしてポーズ推定ブランチ（PEB）を導入する。
• ReIDとポーズ推定の両タスクが互いに監視することで、特徴の識別性を向上させる統合的学習戦略を採用する。
• 知識蒸留を用いた階層的特徴制約（HFC）を適用し、グローバル特徴がローカルパーツ特徴を監視することで一貫性を確保する。
• 多損失目的関数を用いる：識別損失（$L_{id}$）、異種センター三重項損失（$L_{hctri}$）、ポーズ推定損失（$L_{pose}$）、知識蒸留損失（$L_{KD}$）。
• アブレーションにより損失重みを最適化し、最良の性能を得るための最適な設定 $eta=0.1$, $ heta=5$, $ ho=1$ を選定した。
• Grad-CAMを用いて注意マップを可視化し、特徴が任意の画像領域ではなくキーポイント領域に集中していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 ポーズ推定は、可視赤外線人物再識別における特徴学習を向上させる有効な補助タスクとして機能するか？
• RQ2 グローバル特徴とローカル特徴を効果的に同期させることで、識別的表現学習をどのように向上させられるか？
• RQ3 モダリティ共有のボディキーポイントは、VI-ReIDにおけるモダリティ間差異をどれほど低減するか？
• RQ4 グローバル特徴とパーツレベル特徴間の知識蒸留は、特徴の一貫性と性能向上に寄与するか？
• RQ5 ReIDとポーズ推定の共同最適化により、ベンチマークデータセットで最先端の性能が達成可能か？

主な発見

• 提案手法は、RegDBデータセットにおいて最先端手法比で20%のmAP向上を達成し、All-search設定で87.88%のmAPを達成した。
• SYSU-MM01データセットでは、$f_{ALL}$で64.52%のmAPを達成し、$f_{ID}$を用いた際のベースライン比で3.83%の向上を示した。
• ポーズ推定ブランチ（PEB）単体でも、RegDBでmAPが4%向上、SYSU-MM01で2%向上を達成し、その有効性を示した。
• 階層的特徴制約（HFC）は、RegDBで3.72%、SYSU-MM01で2%のmAP向上をもたらし、特徴の一貫性に寄与することが確認された。
• Grad-CAMの可視化により、モデルがランダムな画像領域ではなくボディキーポイント領域に注目していることが確認され、注目メカニズムの妥当性が裏付けられた。
• 最適な損失重み組み合わせ $eta=0.1$, $ heta=5$, $ ho=1$ は、両データセットで安定した収束と最良の性能を保証した。