[論文レビュー] Hard-Aware Deeply Cascaded Embedding

Yuhui Yuan, Kuiyuan Yang+1 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Image and Video Retrieval Techniques参考文献 44被引用数 10

ひとこと要約

本稿では、複雑度が増す順に複数の深層度量学習モデルを段階的に組み合わせることで、サンプルの難易度に応じて硬い例を適応的にマイニングする、ハードウェアに配慮した深層段階的埋め込み（HDC）という新しいフレームワークを提案する。モデルを順次訓練し、各モデルがサンプルを「難しい」と判断した場合にのみバックプロパゲーションを実行することで、一般化性能が向上し、5つのベンチマークで最先端の性能を達成した。特に、CARS196では83.8%のRecall@1、Stanford Online Productsではマルチクロップテストで70.1%を達成した。

ABSTRACT

Riding on the waves of deep neural networks, deep metric learning has also achieved promising results in various tasks using triplet network or Siamese network. Though the basic goal of making images from the same category closer than the ones from different categories is intuitive, it is hard to directly optimize due to the quadratic or cubic sample size. To solve the problem, hard example mining which only focuses on a subset of samples that are considered hard is widely used. However, hard is defined relative to a model, where complex models treat most samples as easy ones and vice versa for simple models, and both are not good for training. Samples are also with different hard levels, it is hard to define a model with the just right complexity and choose hard examples adequately. This motivates us to ensemble a set of models with different complexities in cascaded manner and mine hard examples adaptively, a sample is judged by a series of models with increasing complexities and only updates models that consider the sample as a hard case. We evaluate our method on CARS196, CUB-200-2011, Stanford Online Products, VehicleID and DeepFashion datasets. Our method outperforms state-of-the-art methods by a large margin.

研究の動機と目的

• モデル依存のハードレベルによる過学習およびアンダーフィットの課題に対処すること。
• サンプルの難易度に応じて、適切なモデル複雑度を動的に割り当てる手法を開発すること。
• 段階的なモデルを用いた多段階のハード例マイニングを可能にすることで、深層度量学習の一般化性能を向上させること。
• 最小限のハイパーパrameterチューニングで、多様なベンチマークで最先端の性能を達成すること。

提案手法

• HDCは、浅いネットワークから始まり、段階的に深くなる複数の深層度量モデルを段階的に組み合わせる。
• 各サンプルは段階的に順次処理され、最初に「簡単」と分類するモデルで訓練が停止する。
• サンプルを「難しい」と判断したモデルのみがバックプロパゲーションの更新を受けるため、効率的で的確な学習が可能になる。
• モデル間で初期層の特徴を共有することで、計算の重複を低減する。
• 各モデル内でコントラスト損失、トリプルット損失、その他の度量学習損失を用い、各モデルレベルで「難しい」ケースにのみ学習を集中させる。
• K個の段階的モデルをサポートする柔軟な構成が可能で、さまざまな損失関数と組み合わせられる。

実験結果

リサーチクエスチョン

• RQ1 複雑度が増す順に段階的なモデルを用いることで、サンプルの難易度に応じたハード例マイニングを改善できるか？
• RQ2 モデル依存のハードレベル定義は最適でない学習を引き起こす可能性があり、多段階マイニングによってこれを緩和できるか？
• RQ3 段階的アーキテクチャは、多様なデータセットにおいて単一モデルのハード例マイニングよりも優れた一般化性能を達成できるか？
• RQ4 境界ボックスの有無やマルチクロップテストなどの異なる設定下で、提案手法は最先端手法と比較してどのように性能を発揮するか？

主な発見

• CARS196では83.8%のRecall@1を達成し、前回の最先端手法比で26.4%の絶対的向上を示した。
• CUB-200-2011では、前回の最先端手法比でRecall@1が2.4%向上し、細粒度認識において強力な性能を示した。
• Stanford Online Productsではマルチクロップテストで70.1%のRecall@1を達成し、前回の最先端手法比で4%の絶対的向上を示した。
• 境界ボックスを使用しない状態でも、CARS196で境界ボックスを用いた手法を上回る性能を示し、背景のノイズに対して強いロバスト性を示した。
• VehicleIDでは、大規模サブセットで65.5%のMAPを達成し、Mixed Diff + CCL（57.5% MAP）などの先行手法を顕著に上回った。
• DeepFashion や Stanford Online Products など多様なデータセットにわたり、さまざまな評価プロトコル下でも一貫した最先端の結果を示し、優れた一般化性能を示した。