[論文レビュー] Revisiting Training Strategies and Generalization Performance in Deep Metric Learning

Karsten Roth, Timo Milbich+4 more|arXiv (Cornell University)|Feb 19, 2020

Face recognition and analysis参考文献 68被引用数 79

ひとこと要約

本論文は、一貫した学習条件の下で深層距離学習（DML）ベースラインの包括的で統一的な評価を提供し、ミニバッチサンプリングと埋め込み空間の圧縮を分析し、ランキングベースのDML手法の一般化を高めるための簡単な正則化を提案する。

ABSTRACT

Deep Metric Learning (DML) is arguably one of the most influential lines of research for learning visual similarities with many proposed approaches every year. Although the field benefits from the rapid progress, the divergence in training protocols, architectures, and parameter choices make an unbiased comparison difficult. To provide a consistent reference point, we revisit the most widely used DML objective functions and conduct a study of the crucial parameter choices as well as the commonly neglected mini-batch sampling process. Under consistent comparison, DML objectives show much higher saturation than indicated by literature. Further based on our analysis, we uncover a correlation between the embedding space density and compression to the generalization performance of DML models. Exploiting these insights, we propose a simple, yet effective, training regularization to reliably boost the performance of ranking-based DML models on various standard benchmark datasets. Code and a publicly accessible WandB-repo are available at https://github.com/Confusezius/Revisiting_Deep_Metric_Learning_PyTorch.

研究の動機と目的

• 統一条件の下で、トレーニング目的、データサンプリング、モデル設計の選択がDMLの性能にどう影響するかを評価する。
• DMLの最適化と一般化におけるミニバッチサンプリングの影響を評価する。
• 埋め込み空間の構造（圧縮、マージン、クラス内分散）がDMLの一般化にどのように関連するかを調査する。
• ランキングベースDML手法の一般化を改善する正則化手法を提案する。

提案手法

• 共通のDML目的関数（ランキングベース、分類ベース、プロキシベース）を一貫した学習設定の下で検証・再実装する。
• ラベルベースの SPC n やメモリバンクを用いた埋め込みサンプリングを体系的に研究し、性能への影響を測定する。
• スペクトル減衰（SVD）とクラス条件統計を用いて学習済み埋め込み空間を解析し、一般化と埋め込み空間特性の関連を関連付ける。
• 埋め込み空間の圧縮を低減して一般化を高める正則化手法を提案・検証する。
• 固定されたアーキテクチャ（ResNet50ベース）と学習プロトコルで、標準ベンチマーク（CUB200-2011、CARS196、SOP）に関する徹底的な実験を提供し、公正な比較を行う。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャとデータセットを横断して学習条件を一定にした場合、異なるDML目的関数はどのように性能を発揮するか？
• RQ2 DMLの最適化と一般化を形作るうえで、ミニバッチサンプリングの役割は何か？
• RQ3 学習済み埋め込みのスペクトル減衰が、訓練分布とテスト分布のずれの下で一般化とどう関連するか？
• RQ4 埋め込み空間の圧縮を制御する正則化は、ランキングベースDML手法の一般化を改善できるか？

主な発見

• DML目的の性能は慎重に一致させた学習条件下で飽和し、標準ベンチマーク上で多くの損失が同様に性能を示す。
• バッチサイズ、データ前処理、アーキテクチャの選択が結果に大きく影響し、一貫性のない報告は公正な比較を妨げる。
• 一般化と埋め込み空間のスペクトル減衰との間には強い負の相関があり、分散の方向が多いほど転移/一般化を支援する。
• 埋め込み空間の圧縮は一般化の低下と相関し、圧縮を減らす簡単な正則化はランキングベースDMLの性能を改善する。
• シンプルなミニバッチ戦略（SPC-2）とより大きなバッチ多様性は、データセット間でより複雑なマイニング手法よりも優れることがある。