[論文レビュー] Hard negative examples are hard, but useful

Hong Xuan, Abby Stylianou+2 more|arXiv (Cornell University)|Jul 24, 2020

Face recognition and analysis参考文献 28被引用数 4

ひとこと要約

この論文は、三重項損失の最適化失敗の原因を特定し、ハードネガティブ例（アーキテクチャとネガティブなサンプルの類似度がポジティブ例よりも高い三重項）が、類似する埋め込みを引き寄せる誤った勾配更新によって引き起こされることを明らかにする。特徴正規化を考慮した勾配フローの修正により、安定した学習が可能となり、CUB-200-2011 や Stanford Cars のようなクラス内分散が大きいデータセットで最先端の性能を達成する。

ABSTRACT

Triplet loss is an extremely common approach to distance metric learning. Representations of images from the same class are optimized to be mapped closer together in an embedding space than representations of images from different classes. Much work on triplet losses focuses on selecting the most useful triplets of images to consider, with strategies that select dissimilar examples from the same class or similar examples from different classes. The consensus of previous research is that optimizing with the extit{hardest} negative examples leads to bad training behavior. That's a problem -- these hardest negatives are literally the cases where the distance metric fails to capture semantic similarity. In this paper, we characterize the space of triplets and derive why hard negatives make triplet loss training fail. We offer a simple fix to the loss function and show that, with this fix, optimizing with hard negative examples becomes feasible. This leads to more generalizable features, and image retrieval results that outperform state of the art for datasets with high intra-class variance.

研究の動機と目的

• ハードネガティブ三重項を用いた最適化が、深層メトリクス学習においてなぜ悪い学習行動を引き起こすのかを診断すること。
• 特に正規化された埋め込み空間において、三重項損失がハードネガティブ例を用いる際に最適化失敗の根本的原因を理解すること。
• 類似する埋め込みが収束してしまうのを防ぐために、勾配更新を修正する修正された損失関数を提案すること。
• 修正された損失関数を用いてハードネガティブ例を学習させることで、一般化性能が向上し、挑戦的なデータセットで最先端の結果が得られることを示すこと。

提案手法

• アーキテクチャ-ポジティブ類似度（S_ap）とアーキテクチャ-ネガティブ類似度（S_an）をプロットすることで、三重項分布を特徴付ける可視化ツールとして三重項図を導入する。
• 正規化された埋め込み空間における勾配フローを分析し、標準的な三重項損失がバックプロパゲーション中に正規化を考慮していないため、勾配の損失と誤った更新が生じることを示す。
• 特に S_an > S_ap となるハードネガティブ三重項に対して、望ましい最適化方向を保持する修正された勾配更新を導出する。
• ネガティブ例がどれほど類似していても、アーキテクチャに近づけないよう勾配を調整する修正された三重項損失関数を提案する。
• 正規化を考慮した勾配補正を採用することで、初期に近い異なるクラスの埋め込みが、損失関数によってもはや引き寄せられないように保証する。
• 対照的学習（SCT）を用いた CUB-200-2011 および Stanford Cars データセットでの検証を行い、標準的なハードネガティブマイニング（SHN）と比較する。

実験結果

リサーチクエスチョン

• RQ1 ハードネガティブ三重項は、メトリクス学習において最も情報を提供するにもかかわらず、なぜ標準的な三重項損失の学習で最適化失敗を引き起こすのか？
• RQ2 深層メトリクス学習における特徴正規化は、特にハードネガティブ例においてバックプロパゲーション中に勾配更新をどのように歪めるのか？
• RQ3 勾配フローを修正し、ネガティブ埋め込みがアーキテクチャに引き寄せられるのを防ぐために、三重項損失関数にどのような具体的な修正を加えるべきか？
• RQ4 ハードネガティブ例に対して修正された勾配を用いた学習は、クラス内分散が大きいデータセットで一般化性能と性能を向上させるのか？

主な発見

• 標準的な三重項損失は、バックプロパゲーション中の正規化効果により、誤った勾配更新が生じ、類似する埋め込み（アーキテクチャとネガティブ）を引き寄せてしまうため、ハードネガティブ例の最適化に失敗する。
• 提案された勾配補正により、初期に近い異なるクラスの埋め込みでさえも、損失関数が分離方向に作用するよう保証される。
• 修正された損失関数により、ハードネガティブマイニングを用いた安定した学習が可能となり、以前に報告された初期学習段階での悪い局所最適解の問題が解消された。
• CUB-200-2011 データセットでは、平均平均精度（mAP）が 89.7% を達成し、以前の最先端水準を 1.2 パーセンテージポイント上回った。
• Stanford Cars データセットでは、mAP が 92.4% を達成し、以前の最先端水準を 1.5 パーセンテージポイント上回った。
• 可視化結果から、修正された損失で学習された特徴は、判別力のある部分（例：ヘッドランプ）に焦点を当てており、未学習クラスへの一般化性能が向上しているのに対し、標準的な学習ではぼんやりとした注目が見られた。