[論文レビュー] No Fuss Distance Metric Learning using Proxies

Yair Movshovitz-Attias, Alexander Toshev+3 more|arXiv (Cornell University)|Mar 21, 2017

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 58

ひとこと要約

Proxy-NCA は学習可能な proxy ポイントの proxy 空間を最適化して距離指標を学習し、収束が速く、標準データセットでのゼロショット最先端結果を実現します。

ABSTRACT

We address the problem of distance metric learning (DML), defined as learning a distance consistent with a notion of semantic similarity. Traditionally, for this problem supervision is expressed in the form of sets of points that follow an ordinal relationship -- an anchor point $x$ is similar to a set of positive points $Y$, and dissimilar to a set of negative points $Z$, and a loss defined over these distances is minimized. While the specifics of the optimization differ, in this work we collectively call this type of supervision Triplets and all methods that follow this pattern Triplet-Based methods. These methods are challenging to optimize. A main issue is the need for finding informative triplets, which is usually achieved by a variety of tricks such as increasing the batch size, hard or semi-hard triplet mining, etc. Even with these tricks, the convergence rate of such methods is slow. In this paper we propose to optimize the triplet loss on a different space of triplets, consisting of an anchor data point and similar and dissimilar proxy points which are learned as well. These proxies approximate the original data points, so that a triplet loss over the proxies is a tight upper bound of the original loss. This proxy-based loss is empirically better behaved. As a result, the proxy-loss improves on state-of-art results for three standard zero-shot learning datasets, by up to 15% points, while converging three times as fast as other triplet-based losses.

研究の動機と目的

• トリプレットベースの距離学習の非効率性と収束の悪さに対処する
• トレーニングデータを表す小さく学習可能な proxy セットを導入する
• 元のトリプレット損失を上界する proxy ベースのランキング/NCA 損失を定式化する
• proxy を用いた学習が収束を速めつつ序数関係を保持することを示す
• ゼロショット学習ベンチマークで最先端の性能を示す

提案手法

• 各 x に対して近い proxy p(y) を持つように、訓練データを近似する proxy P を定義する
• トリプレット (x, y, z) を proxy トリプレット (x, p(y), p(z)) に置換し、proxy ベースの損失を最適化する
• ノルム制約の下で proxy ベースの損失が NCA やトリプレット損失などの古典的な損失の上界になることを証明する
• proxy をモデルパラメータとして含めたエンドツーエンドの訓練を行い、サンプリングの複雑さを避けるため proxy のメモリを共有する
• 静的 proxy 割り当て（意味ラベルによる）と動的 proxy 割り当て（最も近い proxy）戦略を提供する
• 境界のオプションスケーリングを可能にする、コンパクトな proxy 集に類似したクロスエントロピー風の proxy-NCA 損失を利用する
• 固定および動的 proxy 配置を用いた実験を行い、収束と Recall/NMI 指標を分析する

実験結果

リサーチクエスチョン

• RQ1 学習可能な小さな proxy セットは元のトリプレット/NCA 損失を忠実に上界できるか？
• RQ2 proxy ベースの DML は従来のトリプレットベース手法より収束が速いか？
• RQ3 proxy はデータポイント間の望ましい序数関係を保持するか？
• RQ4 標準データセット全体で Proxy-NCA はゼロショットの検索とクラスタリングでどのように機能するか？
• RQ5 パフォーマンスに対する静的割り当てと動的割り当ての影響は何か？

主な発見

• Proxy-NCA は Cars196 でベースラインのトリプレットベース損失より約3倍の速度で収束する。
• Proxy-NCA は Cars196 で Recall@1 が従来の SOTA と比較して最大で約15ポイント改善。
• proxy ベースの損失は NCA やトリプレット損失などの従来の損失に対して厳密な上界を提供する。
• Proxy-NCA は CUB200、Cars196、Stanford Online Products のゼロショットで最先端の結果を達成する。
• 数百から数千程度の小さな proxy セットを使用して高い性能を発揮しつつ、メモリ使用量を控えめに保つ。
• 静的 proxy 割り当ては、proxy が意味ラベルと一致する場合に従来手法と同等以上の性能を発揮しうる；ラベルが利用できない場合でも動的割り当ては効果的であり続ける。