[論文レビュー] PH-GCN: Person Re-identification with Part-based Hierarchical Graph Convolutional Network

Bo Jiang, Xixi Wang+1 more|arXiv (Cornell University)|Jul 20, 2019

Video Surveillance and Tracking Methods参考文献 43被引用数 16

ひとこと要約

本稿では、部分の空間的関係を階層的グラフ構造を用いてモデル化することで、局所的・グローバル的・構造的特徴の統合的学習を可能にする、人物再識別を目的とした部分ベースの階層的グラフ畳み込みネットワークPH-GCNを提案する。本手法はMarket-1501、DukeMTMC-reID、CUHK03で最先端の性能を達成し、それぞれPCBベースライン比でmAPが1.1%、3.1%、7.3%向上した。

ABSTRACT

The person re-identification (Re-ID) task requires to robustly extract feature representations for person images. Recently, part-based representation models have been widely studied for extracting the more compact and robust feature representations for person images to improve person Re-ID results. However, existing part-based representation models mostly extract the features of different parts independently which ignore the relationship information between different parts. To overcome this limitation, in this paper we propose a novel deep learning framework, named Part-based Hierarchical Graph Convolutional Network (PH-GCN) for person Re-ID problem. Given a person image, PH-GCN first constructs a hierarchical graph to represent the pairwise relationships among different parts. Then, both local and global feature learning are performed by the messages passing in PH-GCN, which takes other nodes information into account for part feature representation. Finally, a perceptron layer is adopted for the final person part label prediction and re-identification. The proposed framework provides a general solution that integrates local, global and structural feature learning simultaneously in a unified end-to-end network. Extensive experiments on several benchmark datasets demonstrate the effectiveness of the proposed PH-GCN based Re-ID approach.

研究の動機と目的

• 既存の部分ベースのRe-IDモデルが部分を独立して扱うため、空間的・構造的関係を無視するという限界を是正すること。
• 統合的なディープラーニングフレームワーク内で局所的外観、グローバルな文脈、構造的部品関係を統合することで、特徴の判別能を向上させること。
• グラフ畳み込みネットワークを活用して関係性不変性を捉える、文脈に配慮したエンドツーエンド学習可能なモデルを開発すること。
• ボディパーツの構造的モデリングにより、ポーズ、照明、遮蔽、変形などの外観変動に対して、その耐性を高めること。

提案手法

• パーツ間のペアワイズ関係を表現する階層的グラフを構築し、ノードをパーツ特徴、エッジを空間的近接性および幾何的構造で符号化する。
• グラフ畳み込みネットワーク（GCN）を適用し、ノード間をメッセージを伝搬させ、隣接パーツからの情報を集約することで各パーツの表現を精緻化する。
• 二段階の階層的グラフ構造を採用：局所レベルのグラフは近隣パーツの関係をモデル化し、グローバルレベルのグラフは全身にわたる長距離依存関係を捉える。
• 学習可能なメッセージ伝達メカニズムを採用し、パラメータϵとβを用いて自己特徴と隣接特徴の寄与度をバランスさせる。
• 最終的なパーツ特徴をパーセプトロン層に統合し、エンドツーエンド学習および人物再識別分類を実現する。
• SGDを用いて全ネットワークを学習し、学習率を段階的に減衰させ、バッチサイズ64、水平反転および正規化を含むデータオーグメンテーションを適用する。

実験結果

リサーチクエスチョン

• RQ1 階層的グラフ構造を用いてパーツ間の空間的関係をモデル化することで、独立したパーツ特徴抽出と比較して、人物再識別性能が向上するか？
• RQ2 GCNを用いた局所的・グローバル的・構造的特徴の統合は、困難な条件下での判別能にどのように影響を与えるか？
• RQ3 フラットまたは単一レベルのグラフ構造と比較して、階層的グラフ設計は遮蔽、ポーズ変化、外観変化に対する耐性をどの程度高めるか？
• RQ4 提案されたPH-GCNフレームワークは、難易度の異なる多様なRe-IDベンチマークに一般化可能か？

主な発見

• Market-1501では、PH-GCNはランク-1精度93.5%、mAP79.0%を達成し、PCBベースライン比でそれぞれ1.7%、1.1%向上し、構造的モデリングによる顕著な向上を示した。
• DukeMTMC-reIDでは、PH-GCNは85.0%のランク-1、70.7%のmAPを達成し、PCBベースライン比で5.4%、3.1%向上。SGGNN比でも2.5%、3.9%のさらなる向上を示した。
• 挑戦的であるCUHK03データセットでは、PH-GCNは64.9%のランク-1、61.5%のmAPを達成し、PCBベースライン比でmAPが7.3%、ランク-1が3.6%向上し、ドメイン変動への耐性を強調した。
• リランキング処理は全データセットで一貫して性能向上をもたらし、CUHK03ではPH-GCN+リランキングでmAP73.3%、ランク-170.6%を達成した。
• アブレーションスタディにより、GCNモジュールを削除した場合（Ours-NoGCN）に顕著な性能低下が確認され、文脈に配慮した表現のためのメッセージ伝達の必要性が裏付けられた。
• 階層的グラフ構造（PH-GCN）は単一層のグラフバージョン（P-GCN）を上回る性能を示し、多段階の構造的モデリングが特徴学習を強化することを確認した。