[論文レビュー] Classification is a Strong Baseline for Deep Metric Learning

Andrew Zhai, Haoyu Wu|arXiv (Cornell University)|Nov 30, 2018

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 37

ひとこと要約

この論文は、大規模な分類タスクにおける正規化ソフトマックス損失が、画像検索タスク全般における深層メトリクス学習の強力なベースラインであることを示している。高次元埋め込みとバイナリゼーションを用いることで、64D浮動小数点埋め込みと同等のメモリ容量で最先端の性能を達成し、CARS-196、CUB-200-2011、Stanford Online Products、In-Shopデータセットにおいて、従来のトリプレットベースおよび分類ベースの手法を上回っている。

ABSTRACT

Deep metric learning aims to learn a function mapping image pixels to embedding feature vectors that model the similarity between images. Two major applications of metric learning are content-based image retrieval and face verification. For the retrieval tasks, the majority of current state-of-the-art (SOTA) approaches are triplet-based non-parametric training. For the face verification tasks, however, recent SOTA approaches have adopted classification-based parametric training. In this paper, we look into the effectiveness of classification based approaches on image retrieval datasets. We evaluate on several standard retrieval datasets such as CAR-196, CUB-200-2011, Stanford Online Product, and In-Shop datasets for image retrieval and clustering, and establish that our classification-based approach is competitive across different feature dimensions and base feature networks. We further provide insights into the performance effects of subsampling classes for scalable classification-based training, and the effects of binarization, enabling efficient storage and computation for practical applications.

研究の動機と目的

• 分類ベースの学習が、顔認識に主に使われてきたが、オープンセットの画像検索タスクへ一般化して効果的に機能するかを評価すること。
• サブサンプリング戦略を用いて、極めて多数のクラスを含む状況下での分類ベースのメトリクス学習のスケーラビリティを調査すること。
• 高次元埋め込みのバイナリゼーションによる性能のトレードオフを、精度を損なわず効率的な保存および推論を可能にするために探求すること。
• 従来のトリプレットベースおよび分類ベースの手法を上回る、実用的でスケーラブルかつ高性能なベースラインを確立すること。

提案手法

• 各クラスが学習可能なプロキシ埋め込みとして表現される大規模分類を用いた正規化ソフトマックス損失による深層メトリクスモデルの学習。
• 多様なデータセットにわたる特徴の識別性と一般化性能を向上させるために、最大2048次元の高次元埋め込み空間を採用。
• 大規模データセットにおける計算コストの管理とスケーラビリティの向上のため、訓練中にクラスをサブサンプリング。
• 最終的な浮動小数点埋め込みをゼロを基準にしきい値処理することでバイナリ化し、性能を維持したまま効率的な保存と計算を可能に。
• 一般化性能の評価のため、ResNet-50、GoogleNet、BNInceptionをベースネットワークとして用いる。
• ラベルスムージングと正規化を最適化に組み込むことで、高次元空間における学習の安定化と一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 正規化ソフトマックス損失を用いた分類ベースの学習が、顔認識にとどまらず、一般的な画像検索ベンチマークでも最先端の性能を達成できるか？
• RQ2 訓練中にクラスをサブサンプリングすることは、大規模な設定下での分類ベースのメトリクス学習の性能にどのように影響するか？
• RQ3 高次元バイナリ埋め込みは、64D浮動小数点埋め込みと同等のメモリ容量を満たしつつ、どの程度の精度を維持できるか？
• RQ4 高次元分類ベースのアプローチが、複数の標準データセットにおいて、既存のトリプレットベースSOTA手法を上回る性能を示せるか？

主な発見

• 2048次元埋め込みを用いた提案された正規化ソフトマックス損失は、CARS-196で98.1%のRecall@K、CUB-200-2011で91.8%を達成し、LMCL や A-BIER を含む従来のSOTA手法を上回った。
• 2048D浮動小数点埋め込みをゼロでしきい値処理して得た2048ビットバイナリ埋め込みは、CARS-196で98.0%のRecall@K、CUB-200-2011で91.0%を達成し、64D浮動小数点埋め込みと同等のメモリ使用量を満たしつつ、性能を上回った。
• 訓練中にクラスをサブサンプリングすることで、非常に多数のクラスを含むデータセットに対しても、強力な性能を維持でき、スケーラブルな学習が可能となった。
• すべての評価対象データセットおよび埋め込み次元において、N-pair損失、Proxy-NCA、マージン損失を含む複数のSOTA手法を上回った。
• 正規化ソフトマックスベースラインは、高次元埋め込みを用いることで、トリプレットベースおよび他の分類ベース手法を一貫して上回り、強力な汎用ベースラインとして確立された。
• 高次元埋め込みにバイナリゼーションを適用しても性能の低下が生じず、最小限の精度損失で効率的なデプロイが可能となった。