[論文レビュー] HSGNet: Object Re-identification with Hierarchical Similarity Graph Network

Fei Shen, Mengwan Wei+1 more|arXiv (Cornell University)|Nov 10, 2022

Remote-Sensing Image Classification被引用数 10

ひとこと要約

HSGNetは、空間的およびチャネル的類似性グラフを通じてグローバル-ローカルおよびローカル-ローカルの関係をモデル化することで、オブジェクト再識別を向上させる、プラグアンドプレイ可能な階層的類似性グラフモジュール（HSGM）を提案する。ノードの重要性と相関関係を動的に学習することで、複数のデータセットおよびバックボーンネットワークにおいて、最小限の計算コストで最先端の性能を達成する。

ABSTRACT

Object re-identification method is made up of backbone network, feature aggregation, and loss function. However, most backbone networks lack a special mechanism to handle rich scale variations and mine discriminative feature representations. In this paper, we firstly design a hierarchical similarity graph module (HSGM) to reduce the conflict of backbone and re-identification networks. The designed HSGM builds a rich hierarchical graph to mine the mapping relationships between global-local and local-local. Secondly, we divide the feature map along with the spatial and channel directions in each hierarchical graph. The HSGM applies the spatial features and channel features extracted from different locations as nodes, respectively, and utilizes the similarity scores between nodes to construct spatial and channel similarity graphs. During the learning process of HSGM, we utilize a learnable parameter to re-optimize the importance of each position, as well as evaluate the correlation between different nodes. Thirdly, we develop a novel hierarchical similarity graph network (HSGNet) by embedding the HSGM in the backbone network. Furthermore, HSGM can be easily embedded into backbone networks of any depth to improve object re-identification ability. Finally, extensive experiments on three large-scale object datasets demonstrate that the proposed HSGNet is superior to state-of-the-art object re-identification approaches.

研究の動機と目的

• スケール、ポーズ、外見の類似性によって引き起こされるオブジェクト再識別におけるクラス内変動を解消すること。
• 特徴の判別力の向上を図るためのメカニズムを導入することで、バックボーンネットワークと再識別タスクの間の矛盾を軽減すること。
• 手動でのアノテーションやアーキテクチャの再設計を必要とせず、性能を向上させるプラグアンドプレイモジュールを開発すること。
• 階層的グラフ構造を用いて内部的（ローカル-ローカル）および外部的（グローバル-ローカル）な関係をモデル化することで、効果的な特徴学習を可能にすること。

提案手法

• HSGMは、異なる位置の空間的およびチャネル的特徴をノードとして扱い、空間的およびチャネル的類似性グラフを構築する。
• ノード間の類似度スコアを計算することで、複数のレベルでノード間の関係を捉える階層的グラフを形成する。
• 学習可能なパラメータが訓練中に各ノードの重要性を再最適化し、判別性の高い領域に動的に注目できるようにする。
• HSGMは、バックボーンネットワークの任意の深さに埋め込み可能であり、最小限のパラメータおよびFLOPs増加でエンドツーエンドの訓練が可能である。
• 固定サイズのサンプリングに比べ、スケール変動をより効果的に扱うために、マルチスケールサンプリング戦略（$k_1=1, k_2=2, k_3=3$）が用いられる。
• 階層的グラフ構造により、局所的特徴とその文脈的関係を統合的にモデル化でき、表現品質の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 階層的グラフベースのモジュールは、追加のアノテーションを必要とせずにオブジェクト再識別における特徴表現を向上させることができるか？
• RQ2 グローバル-ローカルおよびローカル-ローカルの両方の関係をモデル化することで、再識別性能にどのような影響を与えるか？
• RQ3 HSGMは、ResNet、SeNet、Res2Netなどの異なるバックボーンネットワークにどの程度一般化可能か？
• RQ4 マルチスケールノードサンプリングは、オブジェクト再識別におけるスケール変動へのロバストネスを向上させるか？
• RQ5 既存モデルにHSGMを統合する際の、性能向上と計算コストのトレードオフはどのようなものか？

主な発見

• HSGMをResNet-50のステージ4に埋め込むと、Market-1501でRank-1精度が1.2%向上し、VeRi776では3.3%向上した。
• ResNet-50を用いた場合、HSGMの導入によりVeRi776で3.0% mAP向上、Market-1501で1.0% mAP向上を達成した。
• HSGMは、SeNet50では1.59% mAP向上、Res2Net50では2.24% mAP向上を示し、テストしたすべてのバックボーンネットワークで性能向上を実現した。
• マルチスケールサンプリング戦略（$k_1=1, k_2=2, k_3=3$）は、固定サイズ戦略に比べて、データセット全体で0.67%〜1.05%のmAP向上を達成した。
• HSGMの追加により、パラメータは4.3–4.8%、FLOPsは1.13–1.37%増加に留まり、計算コストの増加は最小限であった。
• HSGMは、ResNet50、SeNet50、Res2Net50のすべてのバックボーンで普遍的に有効であり、一貫した性能向上を示した。