[論文レビュー] High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification

Guan’an Wang, Shuo Yang+7 more|arXiv (Cornell University)|Mar 18, 2020

Video Surveillance and Tracking Methods参考文献 42被引用数 43

ひとこと要約

高次情報フレームワークを用いて遮蔽 ReID を実現する。適応的有向グラフ畳み込みを用いて画像内の関係をモデル化し、グラフマッチングで画像間のトポロジーを捉え、頑健な類似度推定を行う。

ABSTRACT

Occluded person re-identification (ReID) aims to match occluded person images to holistic ones across dis-joint cameras. In this paper, we propose a novel framework by learning high-order relation and topology information for discriminative features and robust alignment. At first, we use a CNN backbone and a key-points estimation model to extract semantic local features. Even so, occluded images still suffer from occlusion and outliers. Then, we view the local features of an image as nodes of a graph and propose an adaptive direction graph convolutional (ADGC)layer to pass relation information between nodes. The proposed ADGC layer can automatically suppress the message-passing of meaningless features by dynamically learning di-rection and degree of linkage. When aligning two groups of local features from two images, we view it as a graph matching problem and propose a cross-graph embedded-alignment (CGEA) layer to jointly learn and embed topology information to local features, and straightly predict similarity score. The proposed CGEA layer not only take full use of alignment learned by graph matching but also re-place sensitive one-to-one matching with a robust soft one. Finally, extensive experiments on occluded, partial, and holistic ReID tasks show the effectiveness of our proposed method. Specifically, our framework significantly outperforms state-of-the-art by6.5%mAP scores on Occluded-Duke dataset.

研究の動機と目的

• 遮蔽が大きく、ずれの課題を伴う問題としての遮蔽人物再識別を動機付ける。
• グラフベースの手法を通じて局所特徴間の高次関係を学習するフレームワークを提案する。
• 一対一の厳格な整合を避け、二つの画像を頑健に揃えるクロスグラフトポロジーモジュールを提案する。
• 高次情報が遮蔽・部分的・全体的な ReID データセットで有意な性能向上をもたらすことを示す。

提案手法

• CNN の骨格とキーポイント推定モデルを用いてキーポイント領域から意味的局所特徴を抽出する。
• 局所特徴をグラフノードとして扱い、意味のないメッセージ伝搬を抑制し学習する適応的有向グラフ畳み込み（ADGC）層を適用する。
• グラフマッチングを通じてトポロジー情報を埋め込み、類似度を予測するクロスグラフ埋め込み整列（CGEA）層により二つの画像を揃える。
• 画像ペア間の類似度予測を監視する検証損失を用いたエンドツーエンドの学習。
• 関係ベースの類似度とトポロジーに基づく類似度を最終スカラー値へ統合し、ランキングに用いる。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのメッセージ伝搬を通じて遮蔽領域特徴を修復することで高次関係情報は遮蔽 ReID の識別性を改善できるか。
• RQ2 グラフマッチングを用いるクロスグラフトポロジー学習は、硬い一対一整列よりもロバストなソフト整列を提供し、遮蔽/部分的シナリオで優れるか。
• RQ3 提案された ADGC および CGEA 層は遮蔽・部分的・全体的な ReID ベンチマークで測定可能な利益をもたらすか。
• RQ4 HOReID 全体は遮蔽・部分的・全体的なデータセットで最先端手法と比較してどの程度性能を発揮するか。

主な発見

• HOReID は Occluded-Duke で Rank-1 55.1、mAP 43.8 を達成して最先端を上回る。
• Occluded-ReID では HOReID が Rank-1 80.3、mAP 70.2 を達成。
• アブレーションにより、意味特徴の追加・高次関係・トポロジーモジュールの導入が効果を示す（Rank-1: 49.9 → 55.1）。
• ADGC はノイズの多い特徴を効果的に抑制しつつ意味のある特徴を促進し、頑健性を向上。
• CGEA は頑健なソフトなクロImage整列を可能にし、最終的な類似度予測を改善。