[論文レビュー] Generalization in Metric Learning: Should the Embedding Layer be the Embedding Layer?

Nam Vo, James Hays|arXiv (Cornell University)|Mar 8, 2018

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 6

ひとこと要約

本論文は、細粒度画像検索における深層度量学習の一般化を調査し、最終埋め込み層の直前である第2層目（penultimate layer）が、標準的な埋め込み層よりも一般化性能に優れていることを示している。複数の層における特徴の性能を分析した結果、損失関数に近い層はトレーニングデータに過学習しやすい一方、浅い層である第2層目は優れたテスト性能を示し、Cars-196、CUB-200-2011、Stanford Online Productsのベンチマークで最先端の結果を達成した。

ABSTRACT

This work studies deep metric learning under small to medium scale data as we believe that better generalization could be a contributing factor to the improvement of previous fine-grained image retrieval methods; it should be considered when designing future techniques. In particular, we investigate using other layers in a deep metric learning system (besides the embedding layer) for feature extraction and analyze how well they perform on training data and generalize to testing data. From this study, we suggest a new regularization practice where one can add or choose a more optimal layer for feature extraction. State-of-the-art performance is demonstrated on 3 fine-grained image retrieval benchmarks: Cars-196, CUB-200-2011, and Stanford Online Product.

研究の動機と目的

• 深層度量学習ネットワーク内の異なる層が、テストデータにどの程度一般化するかを調査すること、特に小規模から中規模のデータ設定下での一般化を目的とする。
• 度量学習における特徴抽出に最適なのは最終埋め込み層であるという従来の仮定に疑問を呈すること。
• 特に第2層目のような代替層が、より優れた一般化および検索性能をもたらすかどうかを調査すること。
• 損失関数やアーキテクチャを変更せずに、層選択に基づく新たな正則化手法を提供すること。

提案手法

• 著者らは、対照的損失またはトリプルット損失を用いて深層度量学習ネットワークを学習し、最終埋め込み層だけでなく複数の中間層からの特徴を抽出する。
• 複数のベンチマークで、トレーニングセットおよびテストセットにおける標準的な検索指標（例：Recall@1（R@1））を用いて特徴の性能を評価する。
• 最後の層（fc6）と第2層目（pool5.3）およびその他の中間層の性能を比較し、トレーニングデータへの適合度とテストデータへの一般化度を分析する。
• Cars-196、CUB-200-2011、Stanford Online Products、および再検討されたオックスフォード・パリスベンチマークを含む、複数のアーキテクチャとデータセットでアブレーションスタディを実施する。
• 一般化および適合性能に与える層の深さ、損失関数からの距離、埋め込み次元数の影響を分析する。
• 自ら学習したモデルと公開済みモデル（例：lifted structure、HDC）の両方で結果を検証し、アーキテクチャを問わず一貫性があることを確認する。

実験結果

リサーチクエスチョン

• RQ1 深層度量学習における細粒度画像検索において、最終埋め込み層が常に最も一般化性能に優れているのだろうか？
• RQ2 中間層の性能は、トレーニングデータへの適合度とテストデータへの一般化度において、埋め込み層と比べてどの程度異なるのか？
• RQ3 第2層目は、トレーニング精度が悪いにもかかわらず、なぜテスト性能で最終層を上回ることが多いのか？
• RQ4 層の深さや損失関数からの距離が、度量学習における一般化にどの程度影響を及ぼすのか？
• RQ5 損失関数やアーキテクチャを変更せずに、特徴抽出に別の層を選択することで、最先端の性能を達成できるのだろうか？

主な発見

• 同じDML学習済みネットワークを用いた場合、Cars-196テストセットにおいて第2層目（pool5.3）は65.1%のR@1を達成したのに対し、最終層は47.9%のR@1にとどまった。
• CUB-200-2011ベンチマークでは、第2層目が66.4%のR@1を達成したのに対し、最終層は46.3%にとどまり、優れた一般化性能が示された。
• Stanford Online Productsデータセットでは、第2層目が74.8%のR@1を達成し、最終層の74.1%を上回った。一般化性能の向上は一貫していた。
• Revisited Oxford-5kおよびParis-6kベンチマークでも、EasyおよびMedium設定において第2層目はmP@1性能で優れた結果を示し、R@1のトレンドと整合的だった。
• トレーニングデータへの適合度が低いにもかかわらず、第2層目は一般化性能に優れているため、損失関数に近い層への過学習がテスト時の性能を損なう可能性がある。
• 公開済みのlifted structureおよびHDCモデルを含む複数のモデルで同様の結果が得られ、単一のアーキテクチャにとどまらず、堅牢な結果であることが確認された。