[論文レビュー] Proxy Anchor Loss for Deep Metric Learning

Sung‐Yeon Kim, Dong-Won Kim+2 more|arXiv (Cornell University)|Mar 31, 2020

Face recognition and analysis参考文献 40被引用数 8

ひとこと要約

この論文では、プロキシベース手法の高速収束性とペアベース手法の豊富なデータ同士の関係を統合した、深層度画像学習のための新規な損失関数であるProxy-Anchor損失を提案する。プロキシをアンカーとして用い、データ同士の相対的な難易度を活用することで、4つのベンチマークで最先端の性能を達成し、収束が速くノイズに強く、手動でのタプルサンプリングを必要としない。

ABSTRACT

Existing metric learning losses can be categorized into two classes: pair-based and proxy-based losses. The former class can leverage fine-grained semantic relations between data points, but slows convergence in general due to its high training complexity. In contrast, the latter class enables fast and reliable convergence, but cannot consider the rich data-to-data relations. This paper presents a new proxy-based loss that takes advantages of both pair- and proxy-based methods and overcomes their limitations. Thanks to the use of proxies, our loss boosts the speed of convergence and is robust against noisy labels and outliers. At the same time, it allows embedding vectors of data to interact with each other in its gradients to exploit data-to-data relations. Our method is evaluated on four public benchmarks, where a standard network trained with our loss achieves state-of-the-art performance and most quickly converges.

研究の動機と目的

• 深層度画像学習における学習速度と豊富な監視信号のトレードオフを解消すること。
• ペアベース損失の高コストな複雑さによる収束の遅さと、プロキシベース損失のデータ同士の関係の制限的利用を克服すること。
• プロキシベース最適化を通じて微細なデータ同士の関係を捉えながら、高速かつ信頼性の高い収束を実現する損失関数の開発。
• 手動でのタプルサンプリングやハイパーパrameterチューニングを必要とせず、公開ベンチマークで最先端の性能を達成すること。

提案手法

• 損失関数はプロキシをアンカーとして用い、各プロキシをバッチ内のすべてのデータポイントに関連付ける。各データポイントをプロキシに関連付けるのではなく、逆に各プロキシをすべてのデータポイントに関連付ける。
• 各プロキシに対して、同じクラスのデータとの距離を最小化し、異なるクラスのデータとの距離を最大化する。これはマージンに基づくコントラスト型の目的関数を用いる。
• 勾配は相対的難易度によって重み付けされ、これはデータポイントがプロキシに対して相対的にどの程度近いかに依存する。これにより、データ同士の関係モデリングが可能になる。
• 損失関数は微分可能かつエンドツーエンドで学習可能であり、ネットワーク重みとプロキシ埋め込みの同時最適化が可能である。
• マージンと損失のソフトネスを制御する2つのハイパーパrameter、α（マージンスケーリング）とδ（温度）を導入する。
• プロキシベースの監視によりバッチ全体のデータ相互作用を活用することで、タプルサンプリングを回避する。

実験結果

リサーチクエスチョン

• RQ1 プロキシベース損失は、学習速度を損なわずにペアベース損失の豊富な監視信号を達成できるか？
• RQ2 プロキシベースフレームワークにおいて、データ同士の関係を効果的にモデリングすることで、埋め込み品質を向上させられるか？
• RQ3 提案された損失関数は、既存の手法と比較して収束が速く、ノイズラベルや外れ値に対してよりロバストであるか？
• RQ4 バッチサイズと埋め込み次元の変化が、提案損失の性能に与える影響は何か？

主な発見

• CUB-200-2011およびCars-196データセットにおいて、バッチサイズ150でそれぞれRecall@1が68.6%および86.4%を達成し、先行手法を上回った。
• SOPおよびIn-Shopデータセットでは、バッチサイズ150で79.1%および91.9%のRecall@1を達成し、バッチサイズ300に拡大すると79.3%および92.0%に向上した。
• 埋め込み次元が128以上の場合、安定した性能を示し、特に高次元設定ではMS損失が劣化するのに対し、MS損失を上回った。
• α ≥ 16の場合、モデルの性能は安定しており、ハイパーパrameterチューニングにほとんど依存せず、最適化なしでも最先端の結果を達成した。
• すべてのベースライン、特にProxy-NCAおよびトリプレット損失と比較して、収束が速く、Cars-196での訓練時間と精度の曲線から明らかになった。
• δを増加させることで性能がわずかに向上するが、その効果はαが大きい場合に顕著で、両ハイパーパラメータ間に相乗効果があると考えられる。