[論文レビュー] Constellation Loss: Improving the efficiency of deep metric learning loss functions for optimal embedding

Alfonso Medela, Artzai Picón|arXiv (Cornell University)|May 25, 2019

Video Surveillance and Tracking Methods参考文献 22被引用数 8

ひとこと要約

本論文は、すべてのクラスペア間のクラス間距離を同時に最適化することで、埋め込み品質を向上させる、新しい深層度量学習損失関数であるコンステレーション損失を提案する。三重項損失および多クラスNペア損失と比較して、より優れたクラスタリングおよび分類性能を達成し、より高い正確性と、より低いデイビス＝バウリンダー指数およびシラッセ指数により、より密で分離度の高いクラスタを示している。

ABSTRACT

Metric learning has become an attractive field for research on the latest years. Loss functions like contrastive loss, triplet loss or multi-class N-pair loss have made possible generating models capable of tackling complex scenarios with the presence of many classes and scarcity on the number of images per class not only work to build classifiers, but to many other applications where measuring similarity is the key. Deep Neural Networks trained via metric learning also offer the possibility to solve few-shot learning problems. Currently used state of the art loss functions such as triplet and contrastive loss functions, still suffer from slow convergence due to the selection of effective training samples that has been partially solved by the multi-class N-pair loss by simultaneously adding additional samples from the different classes. In this work, we extend triplet and multiclass-N-pair loss function by proposing the constellation loss metric where the distances among all class combinations are simultaneously learned. We have compared our constellation loss for visual class embedding showing that our loss function over-performs the other methods by obtaining more compact clusters while achieving better classification results.

研究の動機と目的

• 三重項損失や対照的損失のような既存の度量学習損失の収束が遅く、局所最適解に陥りやすい問題に対処する。
• 多クラスNペア損失の限界を克服する。この損失は最適化中に負例クラス間の距離を無視している。
• すべてのクラス間距離関係を同時に学習する損失関数を開発し、埋め込み品質を向上させる。
• 特化したアーキテクチャ（例：シアンプスネットワーク）を必要とせず、一般化性能およびクラスタ分離度の向上を実現できることを示す。
• 画像分類およびクラスタリングタスクにおいて本手法を検証し、最先端の度量学習損失を上回る性能を示す。

提案手法

• 最適化中にすべての負例クラス間のペアワイズ距離を組み込むことで、多クラスNペア損失を拡張した新しい損失関数、コンステレーション損失を提案する。
• 1回のフォワードパスで、すべてのクラスペア間におけるクラス内距離の最小化とクラス間距離の最大化を同時に実行する。
• メモリ使用量を削減し、学習効率を向上させるスマートなバッチ選択戦略を採用し、シアンプスネットワークアーキテクチャの必要性を排除する。
• ミニバッチ内のすべてのクラスペアにわたる三重項に類似した制約を集約する微分可能な関数として損失を定式化する。
• 確率的勾配降下法で訓練する標準的な深層ニューラルネットワークに損失を統合し、エンドツーエンド学習を可能にする。
• t-SNE可視化を用いて、学習された埋め込み空間を分析し、クラスタの密着性および分離度を評価する。

実験結果

リサーチクエスチョン

• RQ1 すべてのクラス間距離を同時に最適化する度量学習損失は、三重項損失およびNペア損失と比較して、埋め込み品質を向上させることができるか？
• RQ2 コンステレーション損失は、デイビス＝バウリンダー指数およびシラッセ指数で測定した場合、より優れたクラスタリング性能を示すか？
• RQ3 三重項損失および多クラスNペア損失と比較して、コンステレーション損失の学習安定性および収束速度はどのようになるか？
• RQ4 提案された損失は、シアンプスネットワークや対照的ネットワークアーキテクチャに依存せずに、より高い分類正確性を達成できるか？
• RQ5 画像埋め込みタスクにおいて最良のパフォーマンスを得るために、コンステレーション損失に含める最適なクラス数（K）はいくつか？

主な発見

• コンステレーション損失は、K=6のとき92.96% ± 0.51の最高分類正確性を達成し、三重項損失（91.74% ± 0.68）および多クラスNペア損失（91.48% ± 0.92）を上回った。
• コンステレーション損失は、K=4のとき0.4218 ± 0.0589の最低デイビス＝バウリンダー指数を記録し、三重項損失（0.6384 ± 0.0773）およびNペア損失（0.6037 ± 0.0386）と比較して、顕著に優れたクラスタ分離度を示した。
• コンステレーション損失は、K=6のとき0.7905 ± 0.0134の最高シラッセ指数を達成し、他の手法と比較してより密で分離度の高いクラスタを示した。
• コンステレーション損失は、三重項損失で見られた不安定な変化とは対照的に、より安定した学習ダイナミクスを示し、訓練損失および検証損失の収束が滑らかであった。
• 提案手法は、標準的なソフトマックス交差エントロピーベースラインを上回るパフォーマンスを達成し、少数のサンプル学習や類似の学習シナリオにおける有効性を確認した。
• t-SNE可視化により、コンステレーション損失で学習された埋め込みは、すべてのクラスにおいて最も密で分離度の高いクラスタを形成することが確認された。