[論文レビュー] Improving Description-based Person Re-identification by Multi-granularity Image-text Alignments

Kai Niu, Yan Huang+2 more|arXiv (Cornell University)|Jun 23, 2019

Video Surveillance and Tracking Methods参考文献 49被引用数 12

ひとこと要約

本稿では、記述ベースの人物再識別を対象として、グローバル-グローバル、グローバル-ローカル、ローカル-ローカルのレベルで階層的に画像とテキストをアライメントする、マルチスケール画像-テキストアライメント（MIA）モデルを提案する。本手法は、クロスモーダル類似度と微細な識別性を向上させることを目的とし、エンドツーエンドで学習可能なフレームワークに段階的学習戦略を組み合わせることで、CUHK-PEDESデータセットで最先端の性能を達成した。

ABSTRACT

Description-based person re-identification (Re-id) is an important task in video surveillance that requires discriminative cross-modal representations to distinguish different people. It is difficult to directly measure the similarity between images and descriptions due to the modality heterogeneity (the cross-modal problem). And all samples belonging to a single category (the fine-grained problem) makes this task even harder than the conventional image-description matching task. In this paper, we propose a Multi-granularity Image-text Alignments (MIA) model to alleviate the cross-modal fine-grained problem for better similarity evaluation in description-based person Re-id. Specifically, three different granularities, i.e., global-global, global-local and local-local alignments are carried out hierarchically. Firstly, the global-global alignment in the Global Contrast (GC) module is for matching the global contexts of images and descriptions. Secondly, the global-local alignment employs the potential relations between local components and global contexts to highlight the distinguishable components while eliminating the uninvolved ones adaptively in the Relation-guided Global-local Alignment (RGA) module. Thirdly, as for the local-local alignment, we match visual human parts with noun phrases in the Bi-directional Fine-grained Matching (BFM) module. The whole network combining multiple granularities can be end-to-end trained without complex pre-processing. To address the difficulties in training the combination of multiple granularities, an effective step training strategy is proposed to train these granularities step-by-step. Extensive experiments and analysis have shown that our method obtains the state-of-the-art performance on the CUHK-PEDES dataset and outperforms the previous methods by a significant margin.

研究の動機と目的

• 視覚的に類似した歩行者の画像と意味的に重複する記述が存在する、記述ベースの人物再識別におけるクロスモーダルな微細な識別問題に対処すること。
• 異なるスケールの粒度にわたる複数レベルのアライメントを可能にすることで、画像とテキスト記述間のクロスモーダル類似度測定を向上させること。
• ポーズや部位ラベルなどの外部情報や複雑な事前処理を必要としない、エンドツーエンドで学習可能なモデルを設計すること。
• 複数の粒度を段階的に学習することで最適化を安定化させ、性能を向上させる、段階的学習戦略を開発すること。

提案手法

• グローバルコントラスト（GC）モジュールは、全体の画像表現と記述表現を照合することでグローバル-グローバルアライメントを実現し、グローバルな文脈を捉える。
• リレーション誘導型グローバル-ローカルアライメント（RGA）モジュールは、ローカル部分とグローバル文脈の関係をモデル化することで、識別に寄与するローカルコンポONENTを適応的に強調し、関係のない領域を抑制する。
• 双方向微細マッチング（BFM）モジュールは、視覚的な人体部位と記述内の名詞句をマッチングすることでローカル-ローカルアライメントを実行する。
• 3つの粒度（GC, RGA, BFM）を段階的に学習するための段階的学習戦略が採用されており、最適化の安定性を高め、収束性を改善する。
• MIAモデル全体は、外部のヒントや部位ラベル、複雑な事前処理を一切必要としないエンドツーエンドで学習可能な構造である。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールアライメントは、記述ベースの人物再識別におけるクロスモーダル類似度をどのように向上させるか？
• RQ2 グローバル、グローバル-ローカル、ローカル-ローカルの各レベルでの階層的アライメントは、微細な歩行者画像の識別性を向上させるか？
• RQ3 段階的学習戦略は、マルチスケール画像-テキストアライメントの学習安定性と性能をどのように改善するか？
• RQ4 ハイパーパrameterの影響は、MIAモデルの性能にどのように現れるか？

主な発見

• MIAモデルは、CUHK-PEDESデータセットで最先端の性能を達成し、従来手法と顕著な差を示した。
• ハイパーパrameter λ₁=1.5 および λ₂=0.7 の条件下で、R@1の正確度は47.8%に達し、総合検索スコアは197.2となった。
• 性能は λ₁=1.5 および λ₂=0.7 でピークに達しており、グローバルとローカルアライメントの監視のバランスが最適であることを示している。
• 失敗事例の主な原因は、記述のカバー範囲が不完全であること、または曖昧・曖昧な属性（例：言及されていないアクセサリー、色の曖昧さ）に起因する。
• アブレーションスタディの結果、GC, RGA, BFMの各モジュールが性能向上に寄与していることが確認され、完全なMIAモデルが最高の検索スコアを達成した。