[論文レビュー] Learning Disentangled Representation Implicitly via Transformer for Occluded Person Re-Identification

Mengxi Jia, Xinhua Cheng+2 more|arXiv (Cornell University)|Jul 6, 2021

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

本稿では、定義されていない意味的コンポonentを用いたグローバルリーズニングにより、オクルージョン関連のノイズから顕著な特徴を暗黙的に分離する、アライメントフリーなトランスフォーマー基盤のDRL-Netを提案する。意味的好みのオブジェクトクエリと、相関除去制約を課した対照的特徴学習モジュールを活用することで、Occluded-DukeMTMCで最先端の性能を達成し、従来手法と顕著な差を示した。

ABSTRACT

Person re-identification (re-ID) under various occlusions has been a long-standing challenge as person images with different types of occlusions often suffer from misalignment in image matching and ranking. Most existing methods tackle this challenge by aligning spatial features of body parts according to external semantic cues or feature similarities but this alignment approach is complicated and sensitive to noises. We design DRL-Net, a disentangled representation learning network that handles occluded re-ID without requiring strict person image alignment or any additional supervision. Leveraging transformer architectures, DRL-Net achieves alignment-free re-ID via global reasoning of local features of occluded person images. It measures image similarity by automatically disentangling the representation of undefined semantic components, e.g., human body parts or obstacles, under the guidance of semantic preference object queries in the transformer. In addition, we design a decorrelation constraint in the transformer decoder and impose it over object queries for better focus on different semantic components. To better eliminate interference from occlusions, we design a contrast feature learning technique (CFL) for better separation of occlusion features and discriminative ID features. Extensive experiments over occluded and holistic re-ID benchmarks (Occluded-DukeMTMC, Market1501 and DukeMTMC) show that the DRL-Net achieves superior re-ID performance consistently and outperforms the state-of-the-art by large margins for Occluded-DukeMTMC.

研究の動機と目的

• 可視部位が不一致となる重度のオクルージョン下での人物再識別という課題に対処すること。
• ポーズ推定やパーツ検出などの複雑なアライメント操作や外部の教師信号を必要としないこと。
• トランスフォーマーの自己自己注意機構を用いて、顕著な特徴とオクルージョン関連ノイズを暗黙的に分離すること。
• 対照的学習と相関除去制約を用いることで、オクルージョンの干渉に対してより頑健な特徴を学習すること。

提案手法

• DRL-Netは、CNNで抽出された特徴に対してグローバルリーズニングを実行するため、ビジョントランスフォーマーのエンコーダ-デコーダアーキテクチャを採用し、アライメントフリーな表現学習を実現する。
• 意味的好みのオブジェクトクエリが、体の部位やオクルージョンといった未定義の意味的コンポーネントを、個別の特徴表現に分離するのを支援する。
• デコーダーにおけるオブジェクトクエリに相関除去制約を適用することで、個々の意味的コンポーネントに明確に注目し、クエリ干渉を低減する。
• 対照的特徴学習（CFL）モジュールにより、グローバル表現とローカル特徴を対比させることで、ID関連とID無関連の特徴の分離を強化する。
• 訓練時に多様なオクルージョンパターンをシミュレートするため、データ拡張戦略を統合する。
• モデルはID分類損失と対照的損失を同時に最適化し、ハイパーパrameter λ と α が対照的および相関除去成分のバランスをとる。

Figure 1: Illustration of the proposed DRL-Net in occluded person re-ID: Person images often suffer from various occlusions with different visible and invisible body parts which greatly complicate image alignment and similarity computation. The proposed DRL-Net is alignment-free which exploits seman

実験結果

リサーチクエスチョン

• RQ1 明示的なパーツ監視やアライメントなしに、トランスフォーマー基盤のアーキテクチャが、顕著な特徴とオクルージョンノイズを暗黙的に分離できるか？
• RQ2 自己注意を用いたグローバルリーズニングは、未定義の意味的コンポーネント間の関係を、オクルージョンのある人物画像で効果的にモデル化できるか？
• RQ3 対照的特徴学習は、オクルージョン特徴と識別的ID特徴の分離をどの程度向上させるか？
• RQ4 ハイパーパrameter λ（対照的損失重み）と α（相関除去ペナルティ）は、モデルの頑健性と性能にどのように影響するか？

主な発見

• DRL-NetはOccluded-DukeMTMCベンチマークで最先端の性能を達成し、従来手法と顕著な差を示した。
• Occluded-DukeMTMCにおいて、DRL-NetはRank-1精度85.6%とmAP72.1%を達成し、前回SOTAを大きく上回った。
• アブレーションスタディの結果、オブジェクトクエリ数（Nq）を増やすことでNq=9まで性能が向上したが、以降は向上が鈍り、推論コストが上昇した。
• ハイパーパrameterの変動に強く、最適な性能はλ=1.0とα=1.0で達成され、さまざまな値の範囲で安定した性能を示した。
• 可視化により、ID無関連のオブジェクトクエリが、教師なしでオクルージョン領域をヒートマップに自動的に局在化していることが確認され、効果的な分離が示された。
• 定性的な結果から、DRL-Netはオクルージョンクエリ間で同じ人物を正しくランク付けしている一方、ベースラインモデルはオクルージョンへの感受性により多数の誤検出を生じた。

Figure 2: The framework of the proposed DRL-Net: DRL-Net consists of three components. The first component is occluded sample augmentation that synthesizes person images by inserting various obstacles. The second component is semantic representation extraction and disentanglement that disentangles t