[論文レビュー] AttKGCN: Attribute Knowledge Graph Convolutional Network for Person Re-identification

Bo Jiang, Xixi Wang+1 more|arXiv (Cornell University)|Nov 24, 2019

Video Surveillance and Tracking Methods参考文献 44被引用数 4

ひとこと要約

本稿では、属性知識グラフ畳み込みネットワークと視覚的特徴学習を統合するエンドツーエンドフレームワーク、AttKGCNを提案する。属性の共起依存関係を有向属性知識グラフでモデル化し、グラフ畳み込みネットワークを用いて相互に依存する属性分類を実行することで、ベンチマークデータセット上で最先端の性能を達成し、属性予測精度およびRe-ID精度の両方を顕著に向上させた。

ABSTRACT

Discriminative feature representation of person image is important for person re-identification (Re-ID) task. Recently, attributes have been demonstrated beneficially in guiding for learning more discriminative feature representations for Re-ID. As attributes normally co-occur in person images, it is desirable to model the attribute dependencies to improve the attribute prediction and thus Re-ID results. In this paper, we propose to model these attribute dependencies via a novel attribute knowledge graph (AttKG), and propose a novel Attribute Knowledge Graph Convolutional Network (AttKGCN) to solve Re-ID problem. AttKGCN integrates both attribute prediction and Re-ID learning together in a unified end-to-end framework which can boost their performances, respectively. AttKGCN first builds a directed attribute KG whose nodes denote attributes and edges encode the co-occurrence relationships of different attributes. Then, AttKGCN learns a set of inter-dependent attribute classifiers which are combined with person visual descriptors for attribute prediction. Finally, AttKGCN integrates attribute description and deeply visual representation together to construct a more discriminative feature representation for Re-ID task. Extensive experiments on several benchmark datasets demonstrate the effectiveness of AttKGCN on attribute prediction and Re-ID tasks.

研究の動機と目的

• ポーズ、照明、遮蔽などの大きな外観変動に起因する識別的特徴を学習する課題に対処すること。
• 既存手法でしばしば無視される人物属性間の共起関係を活用し、属性予測およびRe-ID性能を向上させること。
• 属性学習と視覚的表現学習を統合したエンドツーエンドフレームワークを構築し、両タスクを同時に最適化すること。
• 属性間の共起パターンを有向エッジで表現する新しい属性知識グラフ（AttKG）を構築すること。
• グラフ畳み込みを用いて構造的な属性依存関係を統合することで、属性認識および人物再識別精度が向上することを実証すること。

提案手法

• ノードが属性（例：'Female'、'Bag'）を表す有向属性知識グラフ（AttKG）を構築し、属性ペア間の学習済み共起確率をエッジで符号化する。
• AttKGからの近隣情報の集約を通じて、相互に依存する属性分類器を学習するため、グラフ畳み込みネットワーク（GCN）モジュールを採用する。
• GCNベースの属性分類器の出力を、事前学習済みのCNNバックボーンから得た深層視覚特徴と統合し、統一的かつ識別的な人物表現を生成する。
• 各属性の信頼性と関連性に基づいて、最終表現への寄与度を動的に調整する属性再重み付けモジュールを適用する。
• Re-ID分類損失と属性予測交差エントロピー損失を組み合わせたマルチタスク損失を用いて、ネットワーク全体をエンドツーエンドで学習する。
• 共同最適化中にRe-IDと属性予測損失の寄与度を調整するため、学習可能なパラメータλを用いる。

実験結果

リサーチクエスチョン

• RQ1 知識グラフを用いて属性の共起依存関係をモデル化することで、人物再識別における属性予測性能が向上するか？
• RQ2 深層Re-IDモデルにグラフベースの属性学習モジュールを統合することで、より識別的な視覚的表現が得られるか？
• RQ3 提案されたAttKGCNフレームワークは、mAPおよびRank-1精度の観点で、最先端の属性ガイド付きRe-ID手法と比較してどのように差をつけるか？
• RQ4 属性再重み付けモジュールは、最終的なRe-ID性能および属性予測の信頼性にどのような影響を及えるか？
• RQ5 AttKGCNモデルは、損失バランス重みλやGCN層数といったハイパーパrameterに対してどれほど感度を示すか？

主な発見

• Market-1501データセットでは、Rank-1が94.4%、mAPが85.5%を達成し、属性学習を導入しないベースラインモデルを上回った。
• DukeMTMC-reIDでは、Rank-1が87.8%、mAPが77.4%を達成し、複数のベンチマークで一貫した性能向上を示した。
• ハイパーパrameterλに対して高いロバスト性を示し、4〜6の範囲で安定した性能を発揮し、λ=5で最適な結果を得た。
• アブレーションスタディの結果、GCNベースの属性モジュールと再重み付け機構の両方が不可欠であることが確認され、いずれかを削除すると顕著な性能低下が生じた。
• AttKGCNの属性予測精度は、APR や AANet といった競合手法を上回り、特に全属性の平均精度において顕著な優位性を示した。
• 可視化結果から、AttKGCNはベースラインと比較して、各識別子ごとにより明確に分離された特徴埋め込みを生成しており、より強い識別能力を示していることがわかった。