[論文レビュー] ProxylessKD: Direct Knowledge Distillation with Inherited Classifier for Face Recognition

Weidong Shi, Guanghui Ren+2 more|arXiv (Cornell University)|Oct 31, 2020

Face recognition and analysis参考文献 29被引用数 4

ひとこと要約

本稿では、教師モデルの分類器を学生モデルの固定分類器として継承することで、顔認識精度を直接最適化する知識蒸留手法ProxylessKDを提案する。この継承された分類器を通じて学生の埋め込み空間を教師のものと一致させることで、ProxylessKDは大マージン損失関数を効果的に活用でき、複数のベンチマークで最先端の性能を達成し、L2KDを含む従来の蒸留手法を上回る。

ABSTRACT

Knowledge Distillation (KD) refers to transferring knowledge from a large model to a smaller one, which is widely used to enhance model performance in machine learning. It tries to align embedding spaces generated from the teacher and the student model (i.e. to make images corresponding to the same semantics share the same embedding across different models). In this work, we focus on its application in face recognition. We observe that existing knowledge distillation models optimize the proxy tasks that force the student to mimic the teacher's behavior, instead of directly optimizing the face recognition accuracy. Consequently, the obtained student models are not guaranteed to be optimal on the target task or able to benefit from advanced constraints, such as large margin constraints (e.g. margin-based softmax). We then propose a novel method named ProxylessKD that directly optimizes face recognition accuracy by inheriting the teacher's classifier as the student's classifier to guide the student to learn discriminative embeddings in the teacher's embedding space. The proposed ProxylessKD is very easy to implement and sufficiently generic to be extended to other tasks beyond face recognition. We conduct extensive experiments on standard face recognition benchmarks, and the results demonstrate that ProxylessKD achieves superior performance over existing knowledge distillation methods.

研究の動機と目的

• 顔認識精度という実際のタスクではなく、ソフトラベル一致や活性値の一貫性といった代理タスクを最適化する従来の知識蒸留手法の限界を解消すること。
• 分類器の不一致により標準的な蒸留と互換性のない、高度な大マージン損失関数（例：Arcface、Cosface）を学生モデルが活用できるようにすること。
• 学生モデルと教師モデルの埋め込み空間を直接一致させることで、ギャラリー埋め込みが大規模モデルによって抽出される実世界の顔認識パイプラインと整合性を保つこと。
• 学生の分類器を再訓練する必要がなく、容易に顔認識を超えた分野へ拡張可能な、シンプルで汎用的かつ効果的な蒸留フレームワークの開発

提案手法

• 学生モデルの分類器を教師モデルの分類器の重みで初期化し、学習中に固定することで、教師のクラス中心表現を学生に効果的に転送する。
• 学生ネットワークは、固定された継承分類器と一致する埋め込みを生成するように学習され、結果として教師モデルと整合性のある判別性の高い埋め込み空間を学習する。
• この手法は、学生の特徴学習と大マージン損失（例：ArcfaceやCosface）を組み合わせることで、分離性を高めるマージン制約を学生が活用できるようにする。
• L2KDが学生と教師の埋め込み間のL2距離のみを最小化するのに対し、ProxylessKDは固定分類器を通じてクラス内凝集性とクラス間マージンの両方を共同で最適化する。
• このフレームワークは汎用的であり、アーキテクチャの変更を必要とせず、単に重みの初期化と学生の分類器の固定のみを要する。
• ソフトラベルや中間特徴一致に依存せず、ギャラリー特徴が大規模モデルから抽出される実世界の展開に適した、直接的な埋め込み空間一致を実現する。

実験結果

リサーチクエスチョン

• RQ1 顔認識における知識蒸留を、ソフトラベル一致や特徴活性の一貫性といった代理目的ではなく、顔認識精度というターゲットタスクそのものを直接最適化することで改善できるか？
• RQ2 既存の蒸留手法がなぜArcfaceやCosfaceのような大マージン損失関数から利益を得られないのか、その制限は克服可能か？
• RQ3 教師モデルの分類器を学生モデルに固定されたコンponentとして継承することで、より良い埋め込み空間一致と認識性能が達成できるか？
• RQ4 単一および複数モデル評価モードの両方において、ProxylessKDはCIFAR-100やIJB-C、MegaFaceなどの複数の標準ベンチマークでL2KDや他の蒸留ベースラインと比較してどのように性能を発揮するか？

主な発見

• 複数モデルモード下でCFP-FPで95.04%の認証精度を達成し、L2KDを0.74%上回り、すべてのベンチマークで一貫した向上を示した。
• IJB-C（FAR=1e-6）では、ProxylessKD-mがTop-1識別精度87.90%を達成し、学生ベースライン比10.5%の向上、L2KD-m比1.03%の向上を記録した。
• MegaFaceでは、ProxylessKD-mがRank-1精度95.80%（L2KD-m比1.03%上回り）を達成し、大規模で複雑な認識タスクにおける優位性を確認した。
• IJB-Bでは、FAR=1e-6で93.36%の認証TARを達成し、学生ベースライン比12.5%の向上、L2KD-s比2.5%の向上を記録し、優れた一般化性能を示した。
• すべてのデータセットでProxylessKD-mがProxylessKD-sを一貫して上回り、大規模教師モデルを用いた複数モデル融合が性能向上に寄与することを確認した。
• 性能向上の背景には、効果的な埋め込み空間一致と、L2KDが分類器の不一致により活用できない大マージン制約の活用が寄与している。