[論文レビュー] Deep Metric Learning with Hierarchical Triplet Loss

Weifeng Ge, Weilin Huang+2 more|arXiv (Cornell University)|Oct 16, 2018

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 5

ひとこと要約

本稿では、動的で階層的なクラスレベルの木構造を構築し、硬い情報量の多い三つ組みの自動選択を支援する、深層度量学習の新手法である階層的三つ組損失（HTL）を提案する。階層構造に基づいて文脈に配慮した動的更新マージンを計算することにより、特徴の識別性が向上し、画像検索および顔認識ベンチマークで高速収束と最先端の性能を達成する。標準的な三つ組損失よりも1%〜18%の性能向上を達成している。

ABSTRACT

We present a novel hierarchical triplet loss (HTL) capable of automatically collecting informative training samples (triplets) via a defined hierarchical tree that encodes global context information. This allows us to cope with the main limitation of random sampling in training a conventional triplet loss, which is a central issue for deep metric learning. Our main contributions are two-fold. (i) we construct a hierarchical class-level tree where neighboring classes are merged recursively. The hierarchical structure naturally captures the intrinsic data distribution over the whole database. (ii) we formulate the problem of triplet collection by introducing a new violate margin, which is computed dynamically based on the designed hierarchical tree. This allows it to automatically select meaningful hard samples with the guide of global context. It encourages the model to learn more discriminative features from visual similar classes, leading to faster convergence and better performance. Our method is evaluated on the tasks of image retrieval and face recognition, where it outperforms the standard triplet loss substantially by 1%-18%. It achieves new state-of-the-art performance on a number of benchmarks, with much fewer learning iterations.

研究の動機と目的

• 三つ組損失学習におけるランダムサンプリングの重大な制限を解決すること。これにより、重複する情報のない三つ組みが生じ、収束が遅くなる。
• ミニバッチ学習における局所最適化の課題を克服すること。クラスレベルのグローバルな文脈を三つ組みのサンプリングに組み込むことで実現する。
• 視覚的に類似しているが意味的に異なるクラスに注目することで、特徴の識別性を向上させること。これらは識別が難しい。
• アーキテクチャの大幅な見直しを必要とせず、標準的な三つ組損失や他の度量学習フレームワークに容易に統合可能なスケーラブルで統合可能な手法を開発すること。
• はるかに少ない学習イテレーションで標準ベンチマークで最先端の性能を達成すること。

提案手法

• 特徴類似度に基づいて隣接クラスを再帰的にマージすることで、内在的なデータ分布を符号化するグローバル構造を持つクラスレベルの階層的木構造を構築する。
• 階層木から計算される動的違反マージン（αz）を定義する。これは学習中に更新され、学習に最も有用な硬い三つ組みを特定する。
• アンカー・ネIGHBORHOODサンプリングを導入する。各アンカーは、視覚的に類似しているが異なるクラスからの正例とペairedされ、微細な違いを学習するのを促進する。
• 階層構造を損失関数に統合し、三つ組みの選択をその階層内での位置に基づいて行うことで、グローバルな文脈認識を保証する。
• 階層木を用いて、特徴空間で近接しているが異なるクラスに属するサンプルを、硬いネガティブサンプルとして優先的に選択する。
• 三つ組損失、対照的損失、HDCなど既存の度量学習フレームワークに、損失関数とは独立してサンプリングメカニズムを分離することで、プラグアンドプレイ統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダムまたは静的ハードネガティブサンプリングを超えて、深層度量学習における学習用三つ組みの質をどのように向上させられるか？
• RQ2 階層的木構造が、情報量が多く識別が難しい三つ組みの選択を効果的にガイドするグローバルなクラスレベルの文脈を符号化できるか？
• RQ3 階層構造に基づく動的更新違反マージンが、収束速度の向上とより良い一般化性能をもたらすか？
• RQ4 訓練中に重複するか情報のない三つ組みへの依存度を、どの程度低減できるか？
• RQ5 HDCや対照的損失のような他の度量学習フレームワークと、階層的三つ組損失を効果的に統合できるか？

主な発見

• HTLは、画像検索および顔認識ベンチマークで標準的な三つ組損失を1%〜18%上回り、複数のデータセットで最先端の結果を達成している。
• In-Shop Clothes Retrievalデータセットでは、アンカー・ネIGHBORHOODサンプリングを用いたHTLがR@1で80.9%を達成し、ベースラインのランダムサンプリング（R@1 62.3%）と比較して17.6%の向上を示した。
• Caltech-UCSD Birds 200では、HTLがたった1,000イテレーションで収束したのに対し、HDCは60,000イテレーションを要した。収束速度が60倍速くなった。
• アブレーションスタディにより、アンカー・ネIGHBORHOODサンプリングと動的マージンが鍵であることが確認された。平坦な木（深さ=1）ではR@1が75.3%から78.9%に向上し、深さ=16では最良の80.9%R@1を達成した。
• HDCと統合した場合、提案手法（HDC+）はIn-Shop ClothesでR@1に7.3%の絶対的向上を示し、広範な互換性と有効性を示した。
• 損失の飽和後にベースラインモデルで見られるような性能曲線の揺らぎがないことから、標準的な三つ組損失よりも局所最適解を避けられることが裏付けられた。