[論文レビュー] VarGFaceNet: An Efficient Variable Group Convolutional Neural Network for Lightweight Face Recognition

Mengjia Yan, Mengao Zhao+4 more|arXiv (Cornell University)|Oct 11, 2019

Face recognition and analysis参考文献 23被引用数 6

ひとこと要約

VarGFaceNet は、計算効率と特徴の識別能のバランスを取るために可変グループ畳み込みを活用する軽量な顔認識ネットワークである。特化したヘッド設定とチャネル拡張およびパラメータ効率の良い畳み込みを備えた埋め込みブロックを導入することで、1G FLOPs および 20MB メモリ以内の制約のもとで、LFR 2019 チャレンジで最先端の性能を達成した（先行研究比で FPR=1e-8 時の TPR が 5% 高い）。

ABSTRACT

To improve the discriminative and generalization ability of lightweight network for face recognition, we propose an efficient variable group convolutional network called VarGFaceNet. Variable group convolution is introduced by VarGNet to solve the conflict between small computational cost and the unbalance of computational intensity inside a block. We employ variable group convolution to design our network which can support large scale face identification while reduce computational cost and parameters. Specifically, we use a head setting to reserve essential information at the start of the network and propose a particular embedding setting to reduce parameters of fully-connected layer for embedding. To enhance interpretation ability, we employ an equivalence of angular distillation loss to guide our lightweight network and we apply recursive knowledge distillation to relieve the discrepancy between the teacher model and the student model. The champion of deepglint-light track of LFR (2019) challenge demonstrates the effectiveness of our model and approach. Implementation of VarGFaceNet will be released at https://github.com/zma-c-137/VarGFaceNet soon.

研究の動機と目的

• 厳密な計算制約のもとで、軽量顔認識ネットワークの識別能および一般化能力を向上させること。
• 残差ブロック内の計算強度の不均衡を解消するために、可変グループ畳み込みを導入すること。
• ネットワークの開始部でダウンサンプリングを回避するようにヘッド設定を変更することで、初期層における顔の詳細を保持すること。
• 新しい埋め込みブロック設計により、全結合層のパラメータを削減しながらも識別力を維持すること。
• 効率的な角度付き distillation 損失と再帰的知識 distillation を用いて、モデルの解釈可能性と性能を向上させること。

提案手法

• 各層ごとにチャンネルグループを動的に調整できる可変グループ畳み込みを導入し、計算効率と特徴表現を向上させる。
• 最初の畳み込み層でダウンサンプリングを省略するように変更されたヘッド設定を採用し、高解像度の顔特徴を保持する。
• チャネルを 320 から 1024 に拡張したカスタム埋め込みブロックを設計し、その後に可変グループ畳み込みとポイントワイド畳み込みを適用することでパラメータを削減する。
• 教師モデルが提供する角度マージン情報を用いて、学生ネットワークをガイドする同等の角度付き distillation 損失を適用する。
• 再帰的知識 distillation を採用し、各学生モデルが次の世代の教師となるようにすることで、分布のずれを低減する。
• ArcFace 損失を用いてネットワークを訓練し、LFW、CFP-FP、AgeDB-30、DeepGlint-Light といった標準ベンチマークで性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 可変グループ畳み込みは、軽量顔認識ネットワークにおける性能対効率のトレードオフを改善できるか？
• RQ2 初期特徴解像度を保持するように変更されたヘッド設定は、大規模顔データセットにおける認識精度にどのように影響するか？
• RQ3 チャネル拡張とパラメータ効率の良い畳み込みを備えたカスタム埋め込みブロックは、識別力を損なわずにモデルサイズをどの程度削減できるか？
• RQ4 同等の角度付き distillation 損失は、軽量な学生ネットワークの一般化能力向上にどの程度効果的か？
• RQ5 学生モデルと教師モデルのアーキテクチャに大きな差がある場合、再帰的知識 distillation は性能向上に顕著な効果をもたらすか？

主な発見

• VarGFaceNet は、1G FLOPs および 20MB メモリ制約のもとで、DeepGlint-Light テストセットにおいて先行の SOTA モデル比で TPR@FPR=1e-8 が 5% 高い性能を達成した。
• チャネル容量がより高いにもかかわらず、AgeDB-30 では 0.6%、CFP-FP では 0.2% の検証精度向上を達成した。
• 提案された埋め込みブロックは、全結合層のパラメータを削減しながらも識別特徴を維持しており、7×7 の深度可分畳み込みを採用する MobileFaceNet よりも優れた性能を示した。
• 再帰的知識 distillation により、LFW および CFP-FP での検証精度が 0.1% 向上し、DeepGlint-Light では TPR@FPR=1e-8 が 0.4% 向上した（非再帰的学習と比較）。
• モデルの性能は教師モデルの品質に強く相関しており、より優れた教師モデルが、より良い学生一般化をもたらすことを示した。
• アブレーションスタディの結果、ヘッド設定と埋め込みブロック設計が極めて重要であることが確認され、標準設定を用いた単純な VarGNet は、すべてのベンチマークで VarGFaceNet を下回った。