[論文レビュー] MarginDistillation: distillation for margin-based softmax

David Svitov, Sergey Alyamkin|arXiv (Cornell University)|Mar 5, 2020

Face recognition and analysis参考文献 22被引用数 5

ひとこと要約

本論文では、マージンベースのソフトマックス（例：ArcFace）で訓練された軽量顔認識モデル向けに、新しい蒸留手法であるMarginDistillationを提案する。この手法は、教師ネットワークから生徒ネットワークへクラス中心埋め込みと角マージンを転送することで、生徒が同じクラス間の角分離を学習できるようにする。LFW（99.61%）、AgeDB-30（96.55%）、MegaFace（91.70%）のベンチマークで最先端の精度を達成し、既存の蒸留手法を上回っている。

ABSTRACT

The usage of convolutional neural networks (CNNs) in conjunction with a margin-based softmax approach demonstrates a state-of-the-art performance for the face recognition problem. Recently, lightweight neural network models trained with the margin-based softmax have been introduced for the face identification task for edge devices. In this paper, we propose a novel distillation method for lightweight neural network architectures that outperforms other known methods for the face recognition task on LFW, AgeDB-30 and Megaface datasets. The idea of the proposed method is to use class centers from the teacher network for the student network. Then the student network is trained to get the same angles between the class centers and the face embeddings, predicted by the teacher network.

研究の動機と目的

• 顔認識における大規模な教師ネットワークと軽量な生徒ネットワークの間の性能差を縮小すること。
• マージンベースのソフトマックス損失で訓練されたモバイル最適化顔認識モデルの精度を向上させること。
• 顔認識で最先端の性能を示すことが知られているマージンベースのソフトマックスに特化した蒸留手法を開発すること。
• 標準ベンチマーク上で、MarginDistillationを既存の蒸留手法（例：三重項、角、マージンベースの蒸留）と実験的に比較すること。
• 再現可能性とモバイルおよびエッジAIアプリケーションへの広範な採用を促進するため、オープンソース実装を提供すること。

提案手法

• 事前学習済みの教師ネットワーク（ResNet100、ArcFace損失）からクラス中心を、生徒ネットワーク（MobileFaceNet）へ転送する。
• 生徒ネットワークは、教師ネットワークが予測するクラス中心と顔埋め込みの間の角関係を再現するように訓練される。
• 生徒ネットワークのクラス中心は訓練中に固定され、教師が学習した角マージン構造を保持する。
• 訓練目的は、生徒の顔埋め込みと転送されたクラス中心が形成する角度が、教師ネットワーク内の角度と一致するように差分を最小化すること。
• 教師と同一の一致性を保つために、固定されたハイパーパrameter（s=64, m_max=0.5, m_min=0.2）を用いたマージンベースのソフトマックス損失（ArcFace）を採用する。
• MXNetを用いて実装され、温度スケーリングを用いた三重項蒸留、角蒸留、マージンベースの蒸留と直接比較されている。

実験結果

リサーチクエスチョン

• RQ1 教師ネットワークからクラス中心と角マージンを転送することで、軽量な生徒ネットワークの顔認識性能が向上するか？
• RQ2 標準顔認識ベンチマーク上で、MarginDistillationは三重項、角、マージンベースの蒸留といった既存の蒸留手法と比べてどうか？
• RQ3 提案手法は、マージンベースのソフトマックスで訓練された大規模な教師ネットワークと小規模な生徒ネットワークの間の精度差を縮小するか？
• RQ4 MegaFace（100万の誤検出者を含む）のような困難で大規模なデータセットでも、MarginDistillationは有効か？
• RQ5 ArcFaceを越える他のマージンベースのソフトマックス変種に対しても、本手法は一般化可能か？

主な発見

• LFWデータセットでは99.61%の精度を達成し、次に良い手法（角蒸留）を0.06百分率ポイント上回った。
• AgeDB-30では96.55%の精度に達し、最良のベースライン（角蒸留）を0.42百分率ポイント上回り、ArcFace単体で訓練した生徒よりも0.42百分率ポイント向上した。
• 困難なMegaFaceベンチマークでは、トップ1識別精度が91.70%に達し、次に良い手法（T=4のマージンベース蒸留）を0.93百分率ポイント上回った。
• 本手法は、3つのデータセットすべてで比較された蒸留ベースラインを一貫して上回り、強靭性と一般化能力を示した。
• 性能向上の要因は、クラス中心の整合性による角マージン構造の効果的な転送であり、教師が学習した判別性の高い特徴空間が保持されたことにある。
• アブレーション実験では、転送されたクラス中心を固定することが重要であり、微調整すると性能が低下することが判明した。