[論文レビュー] Unsupervised Deep Metric Learning via Auxiliary Rotation Loss

Xuefei Cao, Bor-Chun Chen+1 more|arXiv (Cornell University)|Nov 16, 2019

Face recognition and analysis参考文献 39被引用数 11

ひとこと要約

本稿では、メトリック学習、クラスタリングに基づく偽ラベル付け、自己教師あり回転予測タスクを統合的に最適化する、新しい非教師あり深層メトリック学習フレームワークUDML-SSを提案する。繰り返しクラスタ割り当てを精緻化し、回転予測を正則化子として用いることで、CUB-200、Cars196、Stanford Online Productsの各ベンチマークで最先端の性能を達成し、従来手法に比べて最高で+14.6%のRecall@1の向上を達成した。

ABSTRACT

Deep metric learning is an important area due to its applicability to many domains such as image retrieval and person re-identification. The main drawback of such models is the necessity for labeled data. In this work, we propose to generate pseudo-labels for deep metric learning directly from clustering assignment and we introduce unsupervised deep metric learning (UDML) regularized by a self-supervision (SS) task. In particular, we propose to regularize the training process by predicting image rotations. Our method (UDML-SS) jointly learns discriminative embeddings, unsupervised clustering assignments of the embeddings, as well as a self-supervised pretext task. UDML-SS iteratively cluster embeddings using traditional clustering algorithm (e.g., k-means), and sampling training pairs based on the cluster assignment for metric learning, while optimizing self-supervised pretext task in a multi-task fashion. The role of self-supervision is to stabilize the training process and encourages the model to learn meaningful feature representations that are not distorted due to unreliable clustering assignments. The proposed method performs well on standard benchmarks for metric learning, where it outperforms current state-of-the-art approaches by a large margin and it also shows competitive performance with various metric learning loss functions.

研究の動機と目的

• 大規模なラベル付きデータを必要とする非教師あり深層メトリック学習の課題に対処すること。
• 偽ラベル付けにおける信頼性の低いクラスタリング割り当てが引き起こす学習の不安定性を軽減すること。
• 手動によるアノテーションに依存せずに、特徴表現の質を向上させること。
• 自己教師あり学習を正則化子として統合し、学習の安定性を高め、特徴学習を強化すること。
• 複数の標準的なメトリック学習ベンチマークで最先端の性能を示すこと。

提案手法

• 深層特徴に対してk-meansクラスタリングを適用し、メトリック学習における正例・負例ペairのマイニングに用いる偽ラベルを生成する。
• メトリック学習損失と回転予測損失を組み合わせたマルチタスク損失を用いて、深層ニューラルネットワークを学習する。
• 回転予測を自己教師あり事前学習タスクとして採用：入力画像の0°、90°、180°、270°回転を予測する。
• 各エポックの学習後、更新された特徴を用いて繰り返しクラスタ割り当てを再計算する。
• 事前学習済みImageNetバックボーンから偽ラベルを初期化し、学習中にエンドツーエンドで更新する。
• 本フレームワーク内では、任意の標準的なメトリック学習損失関数（例：コントラスト型、トリプレット型）をサポートする。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングに基づく偽ラベル付けを自己教師あり学習と効果的に統合することで、非教師ありメトリック学習の性能を向上させられるか？
• RQ2 回転予測タスクを追加することで、ノイズの多いクラスタ割り当てへの感受性が低下し、学習が安定化するか？
• RQ3 本手法は、標準ベンチマークにおいて、最先端の非教師ありメトリック学習手法と比較してどのように性能を発揮するか？
• RQ4 ImageNetの事前学習なしでランダム初期化から学習を開始した場合でも、本手法は強力な性能を発揮できるか？
• RQ5 埋め込み次元数やクラスタ数といったハイパーパrameterが、モデルの性能にどのように影響を与えるか？

主な発見

• UDML-SSはCUB-200-2011で新たな最先端性能を達成し、前回のSOTA手法[51]に比べてRecall@1が+8.5%向上した。
• Cars196では、最も強力なベースラインに比べてRecall@1が+3.8%向上した。
• Stanford Online Productsでは、[51]に比べてRecall@1が+14.6%向上し、優れた一般化性能を示した。
• ランダム初期化されたResNet18を用いた場合、UDML-SSは製品データセットで59.2%のRecall@1を達成し、すべての従来の非教師あり手法を上回った。
• 本手法は、異なるバックボーンアーキテクチャにおいても良好な性能を発揮し、Inception-V2では教師ありマルチシミリティ学習に近い性能を達成した。
• 最適なクラスタ数は約100～250であり、kが500を超えると性能が低下する傾向にあり、クラスタリングにおける過学習への感受性が示された。