[論文レビュー] Making Classification Competitive for Deep Metric Learning

Andrew Zhai, Haoyu Wu|arXiv (Cornell University)|Nov 30, 2018

COVID-19 diagnosis using AI被引用数 17

ひとこと要約

本論文は、標準的な分類ネットワークをプロキシベースのメトリクス学習者に変換することで、画像検索およびクラスタリングベンチマークで最先端の性能を達成する、新しい分類ベースの深層メトリクス学習アプローチを提案する。高次元埋め込み学習の安定化を図り、トリプレットやペアマイニングのような非パrametric手法と比較して、競争力ある、あるいはそれ以上の性能を実現する一方で、低メモリ使用量を維持する。

ABSTRACT

Deep metric learning aims to learn a function mapping image pixels to embedding feature vectors that model the similarity between images. The majority of current approaches are non-parametric, learning the metric space directly through the supervision of similar (pairs) or relatively similar (triplets) sets of images. A difficult challenge for training these approaches is mining informative samples of images as the metric space is learned with only the local context present within a single mini-batch. Alternative approaches use parametric metric learning to eliminate the need for sampling through supervision of images to proxies. Although this simplifies optimization, such proxy-based approaches have lagged behind in performance. In this work, we demonstrate that a standard classification network can be transformed into a variant of proxy-based metric learning that is competitive against non-parametric approaches across a wide variety of image retrieval tasks. We address key challenges in proxy-based metric learning such as performance under extreme classification and describe techniques to stabilize and learn higher dimensional embeddings. We evaluate our approach on the CAR-196, CUB-200-2011, Stanford Online Product, and In-Shop datasets for image retrieval and clustering. Finally, we show that our softmax classification approach can learn high-dimensional binary embeddings that achieve new state-of-the-art performance on all datasets evaluated with a memory footprint that is the same or smaller than competing approaches.

研究の動機と目的

• パラメトリックなプロキシベースのメトリクス学習と、トリプレットやペアマイニングのような非パラメトリック手法との間の性能ギャップを埋める。
• 高次元プロキシベース学習における不安定性と性能低下を解決する。
• 複雑なマイニング戦略を必要とせず、標準的なクロスエントロピー分類とプロキシを用いた、深層メトリクスモデルの有効な訓練を可能にする。
• 単純な分類ヘッドが、複雑な非パラメトリックメトリクス学習フレームワークと比較して、競争力ある、あるいは優れた結果を達成できることを示す。

提案手法

• クラス中心（プロキシ）を最終層の重みとして用いることで、標準的な分類ネットワークをプロキシベースのメトリクス学習フレームワークに変換する。
• 特徴埋め込みが負のプロキシから遠ざかり、正のプロキシに引き寄せられるように、修正されたソフトマックスクロスエントロピー損失を適用する。
• 高次元空間における訓練の安定化と一般化性能の向上のため、温度スケーリングと特徴正規化技術を導入する。
• 訓練中に適応的に更新されるプロキシ更新戦略を採用し、潜在的なデータ分布をよりよく表現する。
• 2段階の訓練プロトコルを採用：まず標準クロスエントロピーで事前学習し、その後プロキシベースの対照的損失で微調整する。
• 正規化された特徴の後処理を用いて、高次元バイナリ埋め込みを効率的に学習し、最小限のメモリオーバーヘッドで性能を保持する。

実験結果

リサーチクエスチョン

• RQ1 標準的な分類ネットワークをプロキシベースの適応により、非パラメトリックメトリクス学習手法と同等の性能にできるか？
• RQ2 パラメトリックなプロキシベース学習を、性能劣化を伴わずに高次元埋め込み空間に安定化・拡張できるか？
• RQ3 単純な分類ヘッドを用いたプロキシベースアプローチが、複雑なマイニングベースの非パラメトリック手法を上回る性能を発揮できるか、画像検索およびクラスタリングにおいて？
• RQ4 分類フレームワークから高次元バイナリ埋め込みを効率的に学習可能であり、最先端の正確性と低メモリ使用量を維持できるか？

主な発見

• 提案手法は、評価されたすべてのデータセット（CAR-196、CUB-200-2011、Stanford Online Products、In-Shop）で新たな最先端性能を達成した。
• すべての検索およびクラスタリングベンチマークで、トリプレットやペアベース学習のような非パラメトリック手法を上回った。
• 高次元埋め込みを学習する際でさえ、競合手法と比較してメモリ使用量を維持または削減した。
• 正規化と温度スケーリングのおかげで、高次元空間における安定性と頑健性を示した。
• モデルから導出された高次元バイナリ埋め込みは、最小限のストレージコストで最先端の結果を達成した。
• アブレーションスタディにより、特に極端な分類設定において、適切な正則化と正規化が性能に不可欠であることが確認された。