[論文レビュー] Pedestrian re-identification based on Tree branch network with local and global learning

Hui Li, Meng Yang+3 more|arXiv (Cornell University)|Mar 31, 2019

Video Surveillance and Tracking Methods参考文献 23被引用数 5

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）バックボーンの特徴マップを階層的・粗いから細かい分割によって処理することで、グローバル特徴とローカル特徴を同時に学習するツリー・ブランチネットワーク（TBN）を提案する。この手法は、Market-1501、CUHK03、DukeMTMCで最先端の性能を達成しており、先行手法と比較してmAPで最大1.4%、Rank-1精度で最大1.6%の向上を示し、特に再ランク付けを組み合わせた場合に顕著である。

ABSTRACT

Deep part-based methods in recent literature have revealed the great potential of learning local part-level representation for pedestrian image in the task of person re-identification. However, global features that capture discriminative holistic information of human body are usually ignored or not well exploited. This motivates us to investigate joint learning global and local features from pedestrian images. Specifically, in this work, we propose a novel framework termed tree branch network (TBN) for person re-identification. Given a pedestrain image, the feature maps generated by the backbone CNN, are partitioned recursively into several pieces, each of which is followed by a bottleneck structure that learns finer-grained features for each level in the hierarchical tree-like framework. In this way, representations are learned in a coarse-to-fine manner and finally assembled to produce more discriminative image descriptions. Experimental results demonstrate the effectiveness of the global and local feature learning method in the proposed TBN framework. We also show significant improvement in performance over state-of-the-art methods on three public benchmarks: Market-1501, CUHK-03 and DukeMTMC.

研究の動機と目的

• グローバル特徴とローカル表現を併用しない既存の深層部品ベースモデルの限界を是正する。
• ポーズやキーポイントアノテーションのような追加の監視情報を必要とせず、粗いから細かい順の階層的アプローチで判別的特徴を学習するフレームワークを開発する。
• 局所的なパーツレベル特徴と包括的なグローバル特徴を効果的に統合することで、人物再識別の性能を向上させる。
• 標準ベンチマーク上で広範な実験を通じて、グローバルおよびローカル特徴の統合学習の優位性を実証する。

提案手法

• TBNフレームワークは、CNNバックボーンからの特徴マップを再帰的に複数の階層的ブランチに分割し、木構造を形成する。
• 各分割されたブランチはボトルネックモジュールによって処理され、異なるスケールの細分化された判別的特徴を学習する。
• 階層的設計により、粗い段階でグローバルな文脈を捉え、細かい段階でローカルな詳細を精緻化する粗いから細かい特徴学習が可能になる。
• すべてのブランチからの特徴が最終的に集約され、統一的でより判別性の高い画像表現が形成される。
• キーポイント検出やポーズ推定のような追加監視情報は不要で、エンド・トゥ・エンドの学習に依存する。
• 推論後に再ランク付け処理を適用することで、特に困難なデータセットにおいて性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 外部アノテーションに依存せずに、グローバルおよびローカル特徴の統合学習が人物再識別性能を向上させ得るか？
• RQ2 特徴分割に階層的・ツリー型ブランチ構造を用いることで、均一または固定分割戦略に比べて、判別的表現の学習においてどのような差が生じるか？
• RQ3 提案されたTBNフレームワークは、Market-1501、CUHK03、DukeMTMCといった標準ベンチマークで、最先端手法をどの程度上回るか？
• RQ4 TBNフレームワークに再ランク付けを統合することで、すべてのデータセットでさらなる性能向上が得られるか？

主な発見

• 再ランク付けを適用した場合、Market-1501データセットでTBNはRank-1精度95.4%、mAP 91.3%を達成し、比較対象のすべての先行手法を上回った。
• CUHK03では、ラベル付き設定でRank-1 72.3%、mAP 68.5%を達成し、re-rankingを施さない状態でPCB+RPPを5.5%と7.5%上回った。
• DukeMTMC-reIDでは、Rank-1 85.5%、mAP 73.0%を達成し、SphereReIDを1.6%と4.5%上回り、GP-reidをRank-1で0.3%、mAPで0.2%上回った。
• 再ランク付けを適用した場合、DukeMTMCでRank-1 89.2%、mAP 85.1%を達成し、すべてのベンチマークで一貫的かつ顕著な向上を示した。
• アブレーションスタディの結果、同じバックボーン（ResNet-50）を用いたベースラインと比較して、提案された局所的およびグローバル特徴学習戦略はmAPを1.4%向上させた。これは階層的分割の有効性を裏付けている。
• モデルは優れた一般化性能を示し、追加の監視情報や複雑な後処理を必要とせず、3つの公開ベンチマークすべてで最先端の性能を達成した。