[論文レビュー] Person Re-identification with Deep Similarity-Guided Graph Neural Network

Yantao Shen, Hongsheng Li+3 more|arXiv (Cornell University)|Jul 26, 2018

Video Surveillance and Tracking Methods参考文献 44被引用数 17

ひとこと要約

本論文は、グラフ構造を用いてプローブギャラリー画像ペア間の対間関係をモデル化する類似度誘導型グラフニューラルネットワーク（SGGNN）を提案する。ギャラリー同士の類似度ラベルを用いてエッジ重みを誘導し、類似度推定の向上を図るエンドツーエンドのメッセージパッシングを可能にする。SGGNNは、公開ベンチマーク上、mAPを最大3.6%、トップ1精度を3.0%向上させ、最先端の性能を達成した。

ABSTRACT

The person re-identification task requires to robustly estimate visual similarities between person images. However, existing person re-identification models mostly estimate the similarities of different image pairs of probe and gallery images independently while ignores the relationship information between different probe-gallery pairs. As a result, the similarity estimation of some hard samples might not be accurate. In this paper, we propose a novel deep learning framework, named Similarity-Guided Graph Neural Network (SGGNN) to overcome such limitations. Given a probe image and several gallery images, SGGNN creates a graph to represent the pairwise relationships between probe-gallery pairs (nodes) and utilizes such relationships to update the probe-gallery relation features in an end-to-end manner. Accurate similarity estimation can be achieved by using such updated probe-gallery relation features for prediction. The input features for nodes on the graph are the relation features of different probe-gallery image pairs. The probe-gallery relation feature updating is then performed by the messages passing in SGGNN, which takes other nodes' information into account for similarity estimation. Different from conventional GNN approaches, SGGNN learns the edge weights with rich labels of gallery instance pairs directly, which provides relation fusion more precise information. The effectiveness of our proposed method is validated on three public person re-identification datasets.

研究の動機と目的

• 既存の人物再識別モデルがプローブギャラリー対を独立して扱うという限界を解消し、対間の関係性を無視しないこと。
• 複数のプローブギャラリー対間の関係的依存性をモデル化することで、ハードな正例および負例の類似度推定精度を向上させること。
• 豊富なギャラリー同士の類似度ラベルをグラフ学習プロセスに統合し、より効果的な特徴融合を可能にすること。
• 深層学習パイプラインにグラフ計算を埋め込むことで、特徴学習と類似度推定の両方をエンドツーエンドで最適化できること。
• 関係性モデリングによるグラフネットワークが、最終的なランク付け性能だけでなく、学習された視覚的特徴の判別性を向上させることを実証すること。

提案手法

• 各ノードがプローブギャラリー画像ペアを表すグラフを構築し、ノード特徴をペairワイズ関係特徴で初期化する。
• 対応するギャラリー画像の類似度スコアに基づいてノード間のエッジ重みを定義し、ギャラリー同士のペアから得られる豊富な監視情報を用いる。
• 隣接ノードからの情報を集約することでノード表現を更新する、グラフ上の深層メッセージパッシングを実行する。
• ノード特徴とエッジ重みを組み合わせた、学習可能なメッセージ集約関数を用い、関係表現を精緻化する。
• 視覚的特徴学習とグラフベースの類似度精緻化を同時に最適化するエンドツーエンドの学習により、SGGNNフレームワーク全体を訓練する。
• ギャラリー同士の類似度ラベルを注釈重みとして用い、動的に特徴集約を調整する類似度誘導型融合機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 プローブギャラリー画像ペア間の対間関係をモデル化することで、人物再識別における類似度推定が向上するか？
• RQ2 エッジ重み学習にギャラリー同士の類似度ラベルを組み込むと、グラフベースの再識別モデルの性能にどのような影響を与えるか？
• RQ3 関係的メッセージパッシングを備えたグラフニューラルネットワークをエンドツーエンドで訓練することで、より優れた視覚的特徴学習とランク付け精度が得られるか？
• RQ4 mAPおよびトップ1精度の観点から、SGGNNは従来のGNNや後処理による再ランク付け手法をどの程度上回るか？
• RQ5 グラフベースのメッセージパッシング機構は、ハードなサンプルにおける類似度推定のロバスト性を向上させるか？

主な発見

• SGGNNは3つの公開データセットで最先端の性能を達成し、Market-1501、CUHK03、DukeMTMCではそれぞれmAPを3.6%、4.1%、2.2%向上させた。
• アブレーションスタディの結果、ギャラリー同士の監視情報を除去した場合（Base Model + SGGNN w/o SG）は、Market-1501でmAPが1.6%低下し、豊富なラベルガイダンスの重要性が示された。
• SGGNNが学習する視覚的特徴は、ベースモデルや従来のGNNよりも優れており、$l_2$距離を類似度推定に用いた場合、Market-1501でmAPが2.1%向上した。
• ハイパーパramータの選択に対してロバストである：$K=4$のtop-100が、精度と効率のバランスが最良であり、$K$やtop-$K$を増加させても計算コストの増加に伴いわずかな向上しか得られない。
• アブレーションスタディにより、SGGNNのメッセージパッシング機構は、ギャラリー同士の監視情報を含まないモデルと比較して、トップ1精度を1.7–2.6%向上させることを確認した。
• DukeMTMCではトップ1精度が3.0%向上し、CUHK03ではmAPが4.1%向上した。これは、複雑なクロスカメラ変動を伴う困難なデータセットにおいて、本手法の有効性を示している。