[論文レビュー] Rethinking Person Re-Identification via Semantic-Based Pretraining

Suncheng Xiang, Gao, Jingsheng+6 more|arXiv (Cornell University)|Oct 11, 2021

Video Surveillance and Tracking Methods参考文献 13被引用数 5

ひとこと要約

本稿では、人物再識別（Re-ID）のための意味的ベースの事前学習手法VTBRを提案する。本手法は、新たに構築されたFineGPR-Cデータセットから得られる高密度なテキストキャプションを用いて、CNNをスクラッチから訓練する。ImageNet事前学習と同等の性能を達成しつつ、画像数を最大1.4倍まで削減できる。これは、言語による教師付き事前学習がRe-ID分野で実用的であることを示している。

ABSTRACT

Pretraining is a dominant paradigm in computer vision. Generally, supervised ImageNet pretraining is commonly used to initialize the backbones of person re-identification (Re-ID) models. However, recent works show a surprising result that CNN-based pretraining on ImageNet has limited impacts on Re-ID system due to the large domain gap between ImageNet and person Re-ID data. To seek an alternative to traditional pretraining, here we investigate semantic-based pretraining as another method to utilize additional textual data against ImageNet pretraining. Specifically, we manually construct a diversified FineGPR-C caption dataset for the first time on person Re-ID events. Based on it, a pure semantic-based pretraining approach named VTBR is proposed to adopt dense captions to learn visual representations with fewer images. We train convolutional neural networks from scratch on the captions of FineGPR-C dataset, and then transfer them to downstream Re-ID tasks. Comprehensive experiments conducted on benchmark datasets show that our VTBR can achieve competitive performance compared with ImageNet pretraining - despite using up to 1.4x fewer images, revealing its potential in Re-ID pretraining.

研究の動機と目的

• ImageNetと人物Re-IDデータの間にあるドメインギャップが、従来のImageNet事前学習の有効性を制限するという問題に対処すること。
• 視覚的表現学習にテキストアノテーションを活用する代替的で事前学習の枠組みを検討すること。
• Re-IDタスクに特化した大規模かつ多様な細分化されたキャプションデータセット（FineGPR-C）を構築すること。
• 画像-キャプションペアを用いてCNNをスクラッチから訓練する純粋な視覚的・意味的事前学習フレームワーク（VTBR）を開発すること。
• 意味的ベースの事前学習が、ImageNet事前学習を上回るか同等の性能を達成し、データ効率を向上させることを実証すること。

提案手法

• 歩行者画像を細分化され、多様なテキスト記述で手動アノテーションすることで、FineGPR-Cキャプションデータセットを構築する。
• 画像-キャプションペア上でResNetとTransformerを共同で学習する視覚言語事前学習フレームワークVTBRを提案する。
• ImageNetに依存せずに、FineGPR-Cデータセットからのテキストの教師信号のみを用いて、CNNバックボーンをスクラッチから訓練する。
• 事前学習段階で学習された視覚的特徴を、下流のRe-IDタスクのバックボーンとして使用する。
• 共有される視覚的・言語的埋め込み空間における判別的特徴学習を強化するために、対照的学習の目的関数を適用する。
• 注意マップを可視化するためのGrad-CAMを用いて、モデルが判別的なボディパーツやグローバルコンテキストに注目していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 高密度なテキストキャプションを用いた意味的ベースの事前学習が、人物再識別においてImageNet事前学習を上回るか同等の性能を達成できるか？
• RQ2 完全にテキストアノテーションに依存する事前学習手法は、Re-IDにおける大規模な画像データセットの必要性をどの程度低減できるか？
• RQ3 人間がアノテートした細分化されたキャプションから視覚的表現を学習することは、Re-IDタスクにおける特徴の判別性と頑健性を向上させるか？
• RQ4 事前学習データ（FineGPR-C）と下流のRe-IDデータセットとの間のドメインギャップが性能に与える影響は何か？また、これを緩和できるか？
• RQ5 キャプションからスクラッチで訓練された視覚言語事前学習フレームワークは、最小限のデータとImageNet事前学習なしで競争力のある結果を達成できるか？

主な発見

• VTBRは、ImageNet事前学習に比べて最大1.4倍少ない画像数で、複数のベンチマーク（例：Market-1501、DukeMTMC-reID）で競争力のあるRe-ID性能を達成した。
• 教師付きおよび非教師付きの両設定において、ImageNet事前学習を上回る性能を示し、意味的教師信号の有効性を実証した。
• Grad-CAMの可視化結果から、VTBRモデルがより判別的なボディパーツやグローバルコンテキストに注目していることが示され、優れた特徴学習が行われていることが裏付けられた。
• FineGPR-Cデータセットは、従来の事前学習手法よりも密度の高い教師信号を提供する高品質な細分化キャプションを可能にした。
• 本手法はImageNetへの依存を軽減し、プライバシーに配慮した、データ効率の高い従来の事前学習の代替手段を提供した。
• 結果から、ドメインギャップが懸念される状況において、意味的ベースの事前学習はImageNet事前学習の実用的で有望な代替手段であると考えられる。