[論文レビュー] DarkRank: Accelerating Deep Metric Learning via Cross Sample Similarities Transfer

Yuntao Chen, Naiyan Wang+1 more|arXiv (Cornell University)|Jul 5, 2017

Video Surveillance and Tracking Methods参考文献 36被引用数 21

ひとこと要約

DarkRankは、深層度量学習の教師ネットワークから学習されたクロスサンプル類似度を、より小さな学生ネットワークに知識として転送することで、モデルの圧縮と高速化を実現する。類似度転送をリストワイズのラーニング・トゥ・ランク問題として定式化することで、再識別、リtrieval、クラスタリングといった度量学習タスクにおいて、学生モデルの性能が顕著に向上し、精度の低下を最小限に抑えつつ最大3倍の推論速度向上を達成する。

ABSTRACT

We have witnessed rapid evolution of deep neural network architecture design in the past years. These latest progresses greatly facilitate the developments in various areas such as computer vision and natural language processing. However, along with the extraordinary performance, these state-of-the-art models also bring in expensive computational cost. Directly deploying these models into applications with real-time requirement is still infeasible. Recently, Hinton etal. have shown that the dark knowledge within a powerful teacher model can significantly help the training of a smaller and faster student network. These knowledge are vastly beneficial to improve the generalization ability of the student model. Inspired by their work, we introduce a new type of knowledge -- cross sample similarities for model compression and acceleration. This knowledge can be naturally derived from deep metric learning model. To transfer them, we bring the "learning to rank" technique into deep metric learning formulation. We test our proposed DarkRank method on various metric learning tasks including pedestrian re-identification, image retrieval and image clustering. The results are quite encouraging. Our method can improve over the baseline method by a large margin. Moreover, it is fully compatible with other existing methods. When combined, the performance can be further boosted.

研究の動機と目的

• 自律走行などの遅延制約のある応用分野において、最先端の深層度量学習モデルの高い計算コストを低減すること。
• 従来の知識蒸留手法がインスタンス内知識（例：1インスタンスあたりのログチットや特徴量）のみを転送するという制限を克服すること。
• インスタンス間の関係、すなわちクロスサンプル類似度を、モデル圧縮および高速化のための新しい種類の知識として活用すること。
• 既存の知識蒸留およびモデル圧縮技術と完全に互換性を持つ手法を開発し、併用による性能向上を可能にすること。
• クラスレベルの監視情報が存在しない、教師ありおよび自己教師あり度量学習の両設定において、効果的な知識転送を可能にすること。

提案手法

• 事前に訓練された教師ネットワークの埋め込み空間から得られるクロスサンプル類似度を、新たな種類の知識として導入する。
• これらの類似度の転送を、教師と学生ネットワーク間のリストワイズラーニング・トゥ・ランク問題として定式化する。
• 古典的なリストワイズランク損失を修正し、学生の埋め込み空間におけるサンプルペアの相対的順序を教師のそれと一致させる。
• 標準的な分類損失、対照的損失、三重損失、および提案された類似度転送損失の組み合わせにより、学生ネットワークを訓練する。
• インスタンス内知識転送（例：特徴量のL2損失によるFitNetスタイル）と併用可能なように、既存の蒸留手法との互換性を確保する。
• アーキテクチャの再設計を伴わずに、一般的なネットワークアーキテクチャ（例：NIN-BN、Inception-BN）を学生および教師モデルとして使用する。

実験結果

リサーチクエスチョン

• RQ1 教師ネットワークの埋め込み空間におけるクロスサンプル類似度は、深層度量学習におけるより小さな学生ネットワークの蒸留に有効な知識として機能するか？
• RQ2 クロスサンプル類似度知識を、下流の度量学習性能を向上させる方法で、学生モデルに効果的に転送できるか？
• RQ3 提案された類似度転送手法は、再識別、画像リtrieval、クラスタリングといった多様な度量学習タスクに一般化可能か？
• RQ4 この知識転送アプローチを用いることで、学生モデルはどの程度の速度向上を達成しつつ、性能を維持できるか？
• RQ5 提案手法は、既存のインスタンス内知識蒸留技術と組み合わせることで、教師と学生モデルの性能差をさらに縮められるか？

主な発見

• DarkRankは、歩行者再識別タスク（Market1501: 86.7% Rank-1、CUHK03: 88.7% Rank-1）において、ベースライン手法を上回る学生モデルの性能向上を達成した。
• CUB-200-2011データセットでは、DarkRankが0.168 F1、0.483 NMI、0.340 Recall@1を達成し、学生ベースライン（0.153 F1、0.461 NMI、0.311 Recall@1）を上回った。
• Pascal Titan X上で最大2.96倍の高速化（526 vs. 178 イメージ/秒）を達成し、教師モデルと比較してわずかな性能損失にとどまった。
• FitNet（インスタンス内特徴蒸留）と組み合わせた場合、顕著な性能向上が得られ、知識転送の相乗効果が示された。
• 教師ありおよび自己教師ありの両設定で有効である。これは、クラスラベルではなくインスタンスレベルの類似度信号に依存しているためである。
• DarkRankのみで訓練された学生ネットワークは、一部の指標（例：CUB-200-2011における0.172 F1 vs. 0.168 F1）で教師ネットワークを同等または上回り、強力な知識転送能力を示している。