[論文レビュー] Ranked List Loss for Deep Metric Learning

Xinshao Wang, Hua Yang+2 more|arXiv (Cornell University)|Mar 8, 2019

Advanced Image and Video Retrieval Techniques参考文献 82被引用数 4

ひとこと要約

本論文は、ミニバッチ内のすべての非自明な例を活用して集合ベースの類似性構造を構築することで、トレーニング効率と一般化性能を向上させる、深層度量学習のための新規なランク付きリスト損失（RLL）を提案する。正例集合と負例集合の間にマージンを課し、クラス固有の超球を学習することでクラス内構造を保持することで、RLLは細分化画像検索ベンチマークで最先端の性能を達成した。

ABSTRACT

The objective of deep metric learning (DML) is to learn embeddings that can capture semantic similarity and dissimilarity information among data points. Existing pairwise or tripletwise loss functions used in DML are known to suffer from slow convergence due to a large proportion of trivial pairs or triplets as the model improves. To improve this, ranking-motivated structured losses are proposed recently to incorporate multiple examples and exploit the structured information among them. They converge faster and achieve state-of-the-art performance. In this work, we unveil two limitations of existing ranking-motivated structured losses and propose a novel ranked list loss to solve both of them. First, given a query, only a fraction of data points is incorporated to build the similarity structure. Consequently, some useful examples are ignored and the structure is less informative. To address this, we propose to build a set-based similarity structure by exploiting all instances in the gallery. The learning setting can be interpreted as few-shot retrieval: given a mini-batch, every example is iteratively used as a query, and the rest ones compose the gallery to search, i.e., the support set in few-shot setting. The rest examples are split into a positive set and a negative set. For every mini-batch, the learning objective of ranked list loss is to make the query closer to the positive set than to the negative set by a margin. Second, previous methods aim to pull positive pairs as close as possible in the embedding space. As a result, the intraclass data distribution tends to be extremely compressed. In contrast, we propose to learn a hypersphere for each class in order to preserve useful similarity structure inside it, which functions as regularisation. Extensive experiments demonstrate the superiority of our proposal by comparing with the state-of-the-art methods.

研究の動機と目的

• 既存の順序付けを目的とした損失関数が情報量の多い例の一部しか使用しないという制限を解消し、有用な非自明なデータポイントを無視しないようにする。
• ポイントベースの比較（例：トリプレット損失）ではなく、より豊かな集合ベースの類似性構造を活用することで、度量学習の識別性能を向上させる。
• すべての正例ペairを可能な限り近づけることで生じるクラス内分布の圧縮という問題を克服し、内部類似性構造を保持する。
• 非自明な例の動的マイニングと難易度に応じた負例ペアの適応的重み付けにより、トレーニング効率と収束を向上させ、特に初期学習段階に注力する。
• 細分化画像検索タスクにおいて、最先端の手法を上回る汎用的かつスケーラブルな損失関数を提供する。

提案手法

• 学習目的を少サンプル検索として定式化する：各ミニバッチで、すべてのサンプルがクエリとして機能し、残りがギャラリーを形成する。
• 類似度スコアに基づいてギャラリーのサンプルをランク付けし、クエリに対して正例集合と負例集合に分割する。
• マージンに基づく損失を適用し、クエリがマージン $ m $ だけ正例集合に近づくように保証する。ヘンジ型の定式化を用いる。
• クラスごとに超球正則化を導入し、任意の2つの正例サンプル間の最大距離（直径）を定義することで、クラス内構造を保持する。
• 難易度に応じた負例ペアの動的マイニングと適応的重み付けを実装し、初期学習段階の安定性を高めるために学習期間を最適化する。
• 深さと埋め込み次元の影響を評価するため、マルチスケールネットワーク設計（RLL-L、RLL-M、RLL-H）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ内のすべての非自明な例を組み込んだ集合ベースの類似性構造は、ペairワイズまたはトリプレットベースの損失と比較して、より高速な収束と優れた性能をもたらすか？
• RQ2 クラス固有の超球を学習することでクラス内構造を保持することは、深層度量学習における一般化性能とロバストネスにどのような影響を与えるか？
• RQ3 動的例マイニングと重要な学習段階のスケジューリングは、モデルの収束と性能にどのような影響を与えるか？
• RQ4 埋め込み次元とネットワークの深さの選択は、提案されたRLL損失の性能にどのように影響するか？
• RQ5 提案されたRLLは、さまざまなデータセットやタスクに一般化可能か、特に細分化画像検索において有効か？

主な発見

• 最適な設定下で、CUB-200-2011とSOPの両データセットで最先端の性能を達成した。CUB-200-2011ではRecall@1が56.4%、In-shop Clothesでは87.7%を記録した。
• RLL-LおよびRLL-Mバージョンは、ネットワークの深さが浅いにもかかわらず、より深いモデルと同等またはそれ以上の性能を達成しており、高いサンプル効率を示している。
• 埋め込みサイズを増加させることで性能が向上するが、ある点を過ぎると上昇が著しく小さくなり、モデルサイズと精度の実用的トレードオフが示された。
• クラス数が多く、1クラスあたりの画像数が少ない（＝より挑戦的な少サンプルタスク）環境では、一般化性能が向上し、データ不足下でもロバストネスが向上することが示された。
• 初期学習段階は極めて重要である：$ T_1 $ を8〜16の範囲で設定した動的重み付けが、最も安定した性能と最高の結果をもたらし、実行間で標準偏差も低かった。
• 提案された動的重み付けスキームは性能を顕著に向上させ、負例ペアをその難易度と学習段階に応じて重み付けすることで、最良の結果が得られた。