[論文レビュー] Adaptive Sparse Pairwise Loss for Object Re-Identification

Xiaofang Zhou, Yu-Jie Zhong+3 more|arXiv (Cornell University)|Mar 31, 2023

Remote-Sensing Image Classification被引用数 6

ひとこと要約

本稿では、人物および車両再識別のための新しいメトリクス学習フレームワークとして、各クラスごとに最も情報量の多いポジティブおよびネガティブペアのみを選択する、Adaptive Sparse Pairwise (AdaSP) ロスを提案する。この手法により、大規模なクラス内変動によって引き起こされる有害なポジティブペアを回避する。最小ハードポジティブマイニング戦略と適応的重み付けを採用することで、MSMT17 では mAP で最大 4.9%、VERI-WILD では 4% の向上を達成し、複数の ReID ベンチマークで最先端性能を実現した。

ABSTRACT

Object re-identification (ReID) aims to find instances with the same identity as the given probe from a large gallery. Pairwise losses play an important role in training a strong ReID network. Existing pairwise losses densely exploit each instance as an anchor and sample its triplets in a mini-batch. This dense sampling mechanism inevitably introduces positive pairs that share few visual similarities, which can be harmful to the training. To address this problem, we propose a novel loss paradigm termed Sparse Pairwise (SP) loss that only leverages few appropriate pairs for each class in a mini-batch, and empirically demonstrate that it is sufficient for the ReID tasks. Based on the proposed loss framework, we propose an adaptive positive mining strategy that can dynamically adapt to diverse intra-class variations. Extensive experiments show that SP loss and its adaptive variant AdaSP loss outperform other pairwise losses, and achieve state-of-the-art performance across several ReID benchmarks. Code is available at https://github.com/Astaxanthin/AdaSP.

研究の動機と目的

• ReID 学習における密なペairワイズサンプリングによって生じる有害なポジティブペアの問題に対処すること。これは、大きなクラス内変動により局所的最小値に陥る原因となる。
• ペアワイズロスにおける密なインスタンスレベルのアンカーに依存することを軽減すること。これにより計算コストが増加し、無関係または誤解を招くペアが導入される。
• 各クラスで最小限ながら最適なペア使用量で高い性能を維持する、スパースでありながら効果的なペアワイズロスフレームワークを構築すること。
• 特に最小ハードペアを用いたポジティブマイニング戦略が、変動の大きいクラス内変動下でのメトリクス学習に与える影響を調査すること。
• 各ミニバッチにおけるクラス内変動のレベルに応じて、異なるポジティブマイニング戦略を動的に重み付けする適応的メカニズムを設計すること。

提案手法

• 各クラスを単位として扱い、1つの代表的ポジティブペアと1つのネガティブペアのみを選択するスパースペアワイズ（SP）ロスフレームワークを提案。これにより、密なインスタンスレベルのアンカーの必要性が排除される。
• クラス内距離が最小（すなわち、視覚的に最も類似している）ペアを選択する最小ハードポジティブマイニング戦略を導入。これは、オクルージョンや照明変化などの大きな変動下でもより頑健である。
• 各ミニバッチにおけるクラス内変動レベルに応じて、最小ハードおよび最もハードなポジティブマイニング戦略を動的に再重み付ける適応的メカニズム AdaSP を開発。これにより、動的クラス内ハイパースフィアが形成される。
• ペア選択には温度スケーリング付き交差エントロピー損失を採用。SP ロスを識別分類損失と統合し、両者をバランスさせる学習可能な重み λ を使用。
• 幾何的洞察を応用：最もハードなポジティブペアは最大クラス内ハイパースフィア半径を定義するが、これは外れ値に過敏である可能性がある。一方、最小ハードペアは最小半径を定義し、通常のクラス内類似度をより適切に表現する。
• ミニバッチ設定で損失を適用。各クラスに対して、特徴埋め込みを用いて最も情報量の多いポジティブおよびネガティブペアを特定し、その後、これらの選択ペアのみでメトリクス損失を計算する。

実験結果

リサーチクエスチョン

• RQ1 各クラスで1つのポジティブペアと1つのネガティブペアのみを用いるスパースペアワイズロスは、密なペアワイズロスと比較して競争力のある ReID 性能を達成できるか？
• RQ2 クラス内距離が最小（最小ハード）のポジティブペア—すなわち、最も視覚的に類似しているペア—は、大きなクラス内変動下で最もハードなペアよりもメトリクス学習に有効であるか？
• RQ3 最小ハードおよび最もハードなポジティブマイニング戦略を組み合わせた適応的メカニズムは、ReID データセットにおける多様なクラス内変動レベルに対し、より頑健な性能を向上させられるか？
• RQ4 提案された AdaSP ロスは、損失重み λ や温度 τ といったハイパーパrameter に対してどれほど感度を示すか？また、最適な値は何か？
• RQ5 提案されたロスは、標準評価プロトコル下で、人物および車両 ReID ベンチマークの両方で最先端の手法を上回る性能を示すか？

主な発見

• MSMT17 において 384×128 入力解像度で mAP 64.7 の新しい最先端性能を達成。以前の最先端手法 Nformer より 4.9% の向上を達成。
• CUHK03-Dataset では mAP 78.0 を達成。同じ入力サイズで SOTA の Nformer よりも 3.3% 高い。
• 大規模な VERI-WILD 車両 ReID ベンチマークにおいて、すべてのテストセットで HRC や UFDN よりも mAP で少なくとも 4% の向上を達成。
• MSMT17 では最適なハイパーパrameter が λ = 0.1、τ = 0.04 であり、λ の広い範囲で性能が安定している。VeRi-776 では λ = 0.5、τ = 0.05 が最適。
• アブレーションスタディにより、特にオクルージョンや低照度状況下で、クラス内変動が大きい場合、最小ハードマイニング戦略がハードマイニングよりも有効であることが確認された。
• AdaSP の適応的メカニズムは、固定マイニング戦略よりも一貫して性能を向上させ、各ミニバッチにおける異なるクラス内変動レベルに動的に適応できることを示した。