[論文レビュー] Learning Metrics from Teachers: Compact Networks for Image Embedding

Lu Yu, Vacit Oguz Yazici+4 more|arXiv (Cornell University)|Apr 7, 2019

Face recognition and analysis参考文献 38被引用数 8

ひとこと要約

本論文では、大規模な教師ネットワークからコンパクトな学生ネットワークへの知識蒸留を提案し、効率的な画像埋め込み学習を実現する。絶対的および相対的メトリック蒸留の2つの新しい損失関数を導入することで、MobileNet-0.25のような小型ネットワークでも顕著な改善が得られ、CUB-200-2011でRecall@1が27.5%から44.6%に向上した。

ABSTRACT

Metric learning networks are used to compute image embeddings, which are widely used in many applications such as image retrieval and face recognition. In this paper, we propose to use network distillation to efficiently compute image embeddings with small networks. Network distillation has been successfully applied to improve image classification, but has hardly been explored for metric learning. To do so, we propose two new loss functions that model the communication of a deep teacher network to a small student network. We evaluate our system in several datasets, including CUB-200-2011, Cars-196, Stanford Online Products and show that embeddings computed using small student networks perform significantly better than those computed using standard networks of similar size. Results on a very compact network (MobileNet-0.25), which can be used on mobile devices, show that the proposed method can greatly improve Recall@1 results from 27.5\% to 44.6\%. Furthermore, we investigate various aspects of distillation for embeddings, including hint and attention layers, semi-supervised learning and cross quality distillation. (Code is available at https://github.com/yulu0724/EmbeddingDistillation.)

研究の動機と目的

• 計算リソースとバッテリ容量が限られたモバイルデバイスに、大規模で高精度なメトリック学習ネットワークを導入する課題に対処する。
• モデルサイズを増加させることなく、小規模な学生ネットワークの画像埋め込みタスクにおける性能を向上させる。
• 分類とは異なり、メトリック学習分野ではまだあまり研究が進んでいない分野である知識蒸留の活用を検討する。
• 高品質な入力画像から低品質な入力画像へと知識を転送するクロス品質蒸留を検討する。
• ヒント層、注意メッシュ、半教師あり学習を含む、さまざまな蒸留部品の有効性を評価する。

提案手法

• 教師ネットワークが画像ペair間の相対的距離を再現するように学生ネットワークを学習させる相対的教師損失を提案する。
• 教師の出力埋め込みを直接一致させる絶対的教師損失を導入する。
• 教師および学生ネットワークの両方の訓練において、主なメトリック学習目的として三重項損失を使用する。
• 知識蒸留損失（絶対的および相対的）を三重項損失と併用し、学生ネットワークの訓練をガイドする。
• ヒント層および注意マップを用いて、教師から学生への中間特徴表現の転送を実現する。
• 無ラベルデータを蒸留中に統合することで、一般化性能を向上させる半教師あり学習を可能にする。

Figure 1: Graphical illustration of the two knowledge distillation losses we propose for metric learning. $L_{KD}^{abs}$ aims to minimize the distance between the student and teacher embedding of the same image. $L_{KD}^{rel}$ compares the distance in the embedding of the teacher between two images,

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、大規模な教師ネットワークから小規模な学生ネットワークへのメトリック学習能力の転送を効果的に行えるか？
• RQ2 絶対的教師（正確な埋め込みを教える）と比較して、相対的教師（ペアワイズ距離を教える）は、メトリック蒸留において優れているか？
• RQ3 教師が高品質な画像を使用する一方で、学生が低品質な画像で訓練される場合、蒸留はどの程度有効か？
• RQ4 蒸留中に無ラベルデータを使用することで、埋め込み品質にどのような影響があるか？
• RQ5 注意またはヒント層を用いた蒸留は、コンパクトなネットワークの性能をさらに向上させることができるか？

主な発見

• 相対的教師損失は絶対的教師損失を常に上回り、MobileNet-0.25を用いたCUB-200-2011でRecall@1が17.1%高い結果を達成した。
• MobileNet-0.25を学生ネットワークとして使用した場合、蒸留後にはRecall@1が27.5%から44.6%に向上し、モバイル最適化アーキテクチャにおいて顕著な性能向上が確認された。
• Cars-196データセットでは、同サイズの教師なしで訓練された学生ネットワークと比較して、蒸留によりRecall@1が29.9%向上した。
• クロス品質蒸留は、低解像度および局所化が不完全な劣化画像設定において顕著な性能向上をもたらし、相対的教師は劣化入力でCars-196で61.9%のRecall@1を達成した。
• 無ラベルデータを用いた半教師あり蒸留によりさらに性能向上が見られ、大規模な弱ラベル付きデータの活用の利点が示された。
• 注意マップおよびヒント層の使用により、特に困難な視覚的ドメインにおいて、特徴転送が改善された。

Figure 2: Illustration of difference between absolute and relative teacher. (left) Example of four data points in the embedding space of teacher. We consider two samples from two classes (indicated by square and star). (middle and right) show the absolute and relative loss for two student embeddings