[論文レビュー] Unbiased Evaluation of Deep Metric Learning Algorithms

István Fehérvári, Avinash Ravichandran+1 more|arXiv (Cornell University)|Nov 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 8

ひとこと要約

本論文は、同じ学習条件（共通のハイパーパramータ、バックボーンネットワーク、データセット分割）の下で、12種類の最先端の深層度画像学習（DML）アルゴリズムを公平かつ偏りのない評価を実施しています。その結果、最近の手法よりも古くからある手法（マージン損失やプロキシベース損失）が同等の条件下で優れた性能を示すことが判明し、従来の性能順位に関する仮説に疑問を呈しています。CUB200、CAR196、Stanford Online Productsデータセットにおいて、公開されたコードと最適化されたハイパーパramータを用いて、新たなSOTAベースラインを確立しました。

ABSTRACT

Deep metric learning (DML) is a popular approach for images retrieval, solving verification (same or not) problems and addressing open set classification. Arguably, the most common DML approach is with triplet loss, despite significant advances in the area of DML. Triplet loss suffers from several issues such as collapse of the embeddings, high sensitivity to sampling schemes and more importantly a lack of performance when compared to more modern methods. We attribute this adoption to a lack of fair comparisons between various methods and the difficulty in adopting them for novel problem statements. In this paper, we perform an unbiased comparison of the most popular DML baseline methods under same conditions and more importantly, not obfuscating any hyper parameter tuning or adjustment needed to favor a particular method. We find, that under equal conditions several older methods perform significantly better than previously believed. In fact, our unified implementation of 12 recently introduced DML algorithms achieve state-of-the art performance on CUB200, CAR196, and Stanford Online products datasets which establishes a new set of baselines for future DML research. The codebase and all tuned hyperparameters will be open-sourced for reproducibility and to serve as a source of benchmark.

研究の動機と目的

• ハイパーパramータの不均一なチューニング、バックボーンネットワーク、評価条件の不一致による、深層度画像学習（DML）研究分野における公平で偏りのない比較の欠如を是正すること。
• 共通の特徴抽出器、埋め込み次元、バッチサイズを用いた同一の学習設定下で、代表的なDML手法の真の性能順位を評価すること。
• モデル性能に顕著な影響を与える、以前報告されていなかったハイパーパramータのテクニックや設定感受性を同定すること。
• 12種類の最先端アルゴリズムの統一されたコードベースと最適化されたハイパーパramータを公開することで、今後のDML研究のための信頼性の高いベンチマークを確立すること。

提案手法

• すべての手法の学習と評価を一貫性を持たせるために、MXNetを用いて12種類の最近のDMLアルゴリズムの統一実装を構築した。
• すべてのモデルは、同じバックボーン（Inception-BN および ResNet50）、埋め込み次元、バッチサイズを用いて、3つの標準データセット（CUB200、CAR196、Stanford Online Products）で学習および評価した。
• 各手法ごとに独立してハイパーパramータをチューニングし、特定のアルゴリズムに偏った最適化を避けるよう配慮した。
• 主な学習要因を体系的に変化させた：埋め込み次元（16–256）、バッチサイズ（2–128）、バックボーンアーキテクチャ（Inception-BN 対 ResNet50）、他のすべての設定を一定に保った。
• サンプリング戦略は、各手法が推奨するデフォルトに統一し、最小限の変更のみを加えて、コアなコンponentsの影響を明確に分離した。
• 性能評価には、Recall@K および正規化相互情報量（NMI）を用い、すべてのデータセットおよび設定で結果を報告した。

実験結果

リサーチクエスチョン

• RQ1 同じ学習条件およびハイパーパramータ設定下で評価された場合、現代のDMLアルゴリズムの性能順位はどのように変化するか？
• RQ2 埋め込み次元、バッチサイズ、バックボーンネットワークの選択が、さまざまなDML損失関数の性能にどの程度影響を与えるか？
• RQ3 公平な比較がなされた場合、最近提案されたDML手法がなぜ古い手法に劣るのか？
• RQ4 SOTA性能を達成するために不可欠な、隠れたハイパーパラメータ設定やトレーニングテクニックは何か？ なぜそれらは通常の論文で省かれることが多いのか？
• RQ5 すべての手法が同じ条件下で学習された場合、プロキシベースおよびマージンベースの損失は、トリプレットベースのアプローチを上回ることができるか？

主な発見

• 同じ学習条件下で、セミハードマイニングを用いたトリプレット損失は、すべてのデータセットで最も成績が悪く、広く採用されていることと相反する。
• マージン損失やプロキシ-ソフトマックスなどの手法が、CUB200、CAR196、Stanford Online ProductsでSOTA性能を達成し、最近の手法を上回った。
• CUB200では、Inception-BNを用いたプロキシ-ソフトマックスが89.93%のRecall@1を達成した。プロキシ-NCAは88.93%を記録し、両者とも新たなSOTAベースラインを樹立した。
• バックボーンの選択が性能に顕著な影響を与えた：ResNet50に切り替えると、ほとんどの手法の性能が低下したが、マージン損失はRecall@1が51.3%から59.6%に向上した。
• 大きなバッチサイズは、すべての損失関数で性能向上をもたらしたが、プロキシ-ソフトマックスを除き、これはその内在的なサンプリングメカニズムのおかげで、小さなバッチサイズでも良好な性能を発揮したためである。
• 埋め込み次元は非自明な影響を与えた：ヘッジベース損失では、大きな次元が性能向上に寄与したが、すべての手法に共通するものではなく、損失タイプと表現能力の複雑な相互作用を示唆している。