[論文レビュー] DiP: Learning Discriminative Implicit Parts for Person Re-Identification

Dengjie Li, Siyu Chen+2 more|arXiv (Cornell University)|Dec 24, 2022

Video Surveillance and Tracking Methods被引用数 10

ひとこと要約

本稿では、ビジョントランスフォーマーにおける学習可能トークンを用いて、事前に定義された部位を越えて柔軟でボディに依存しない特徴を学習する、判別的な暗黙的部位（DiP）を提案する。幾何的アライメントのための暗黙的位置と、遮蔽に強い特徴を実現するDiP重み付けを導入することで、DiPはMSMT17、Market-1501、Duke-ReID、CUHK03、Occluded-Dukeの複数のベンチマークで最先端の性能を達成した。

ABSTRACT

In person re-identification (ReID) tasks, many works explore the learning of part features to improve the performance over global image features. Existing methods explicitly extract part features by either using a hand-designed image division or keypoints obtained with external visual systems. In this work, we propose to learn Discriminative implicit Parts (DiPs) which are decoupled from explicit body parts. Therefore, DiPs can learn to extract any discriminative features that can benefit in distinguishing identities, which is beyond predefined body parts (such as accessories). Moreover, we propose a novel implicit position to give a geometric interpretation for each DiP. The implicit position can also serve as a learning signal to encourage DiPs to be more position-equivariant with the identity in the image. Lastly, an additional DiP weighting is introduced to handle the invisible or occluded situation and further improve the feature representation of DiPs. Extensive experiments show that the proposed method achieves state-of-the-art performance on multiple person ReID benchmarks.

研究の動機と目的

• 明示的な部位ベースの手法が、剛体な分割や外部のキーポイント事前知識に依存するという限界を解消すること。
• 装飾品や衣類の細部など、明示的な身体部位に制約されない判別的な特徴を学習すること。
• 暗黙的位置による幾何的インダクティブバイアスを導入することで、特徴のアライメントと遮蔽・ポーズ変化に対する耐性を向上させること。
• DiP重み付けによる各部位の可視性と寄与度のモデリングを通じて、細粒度のアイデンティティ比較を強化すること。
• 外部の教師信号や固定された分割なしに、複数の標準的な人物再識別ベンチマークで最先端の性能を達成すること。

提案手法

• ビジョントランスフォーマーの入力シーケンスに、学習可能でランダムに初期化されたトークンを追加し、エンドツーエンドで判別的な暗黙的部位（DiP）を抽出する。
• DiPと画像パッチ特徴間の相関に基づくアテンションを用いて、各DiPに対して暗黙的位置を定義し、幾何的解釈可能性を付与する。
• DiPが自らの暗黙的位置を予測するための学習可能ヘッドを導入し、画像内でのアイデンティティに対して位置同値性を促進する。
• 各部位の可視性をモデリングするDiP重み付け機構を導入し、マルチレイヤーパーセプトロンを用いて重みを学習し、特徴の寄与度を調整する。
• グローバル特徴ではなく、重み付けされたDiP特徴を用いて比較する部位ベースの距離計算を設計し、細粒度マッチングを可能にする。
• アイデンティティ損失、ユークリッドトリプルット損失、部位ベースのトリプルット損失、位置予測損失の組み合わせを最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習された暗黙的部位は、明示的に定義された部位やキーポイントベースの部位特徴を上回る性能を発揮できるか？
• RQ2 暗黙的位置は、明示的教師信号なしに特徴の局所化と位置同値性を向上させる幾何的指導を提供できるか？
• RQ3 DiP重み付けによる部位可視性のモデリングは、遮蔽や部分的可視性に対して耐性を向上させるか？
• RQ4 DiPの数が性能に与える影響は何か？容量と一般化性能の最適なトレードオフは何か？
• RQ5 DiPを用いた部位ベースの距離メトリックは、グローバル特徴マッチングよりも優れたアイデンティティ識別を達成できるか？

主な発見

• DiPはMSMT17で83.6% R1および65.7% mAPを達成し、以前の手法を上回る最先端の性能を示した。
• Market-1501では94.5% R1および87.0% mAPを達成し、ベースラインおよび先行SOTAに対して一貫した改善を示した。
• アブレーションスタディの結果、DiP重み付けはDiP数が12のとき、MSMT17でR1が最大0.7%、mAPが最大1.8%向上した。
• 最適なDiP数は12であり、16に増加すると過学習により性能が低下したため、明確な容量トレードオフが確認された。
• 可視化により、DiPが身体部位に限定されず、スカーフ、バッグ、本のストラップなど明示的でない判別性の高い領域に注目していることが確認された。
• DiP重み付けは可視性と相関しており、遮られていた領域は低い重み（例：0.847）を、完全に可視な部分は1.0をとるなど、重み付け機構の妥当性が裏付けられた。