[論文レビュー] Distribution Distillation Loss: Generic Approach for Improving Face Recognition from Hard Samples

Yuge Huang, Pengcheng Shen+6 more|arXiv (Cornell University)|Feb 10, 2020

Face recognition and analysis参考文献 35被引用数 3

ひとこと要約

本稿では、容易な（教師）および困難な（学生）サンプルからの類似度分布を蒸留することで、困難なサンプルにおける顔認識性能を向上させる汎用的手法、Distribution Distillation Lossを提案する。本手法は、新しい損失関数により学生の分布を教師の分布に合わせることで、正例対と負例対の重複を低減し、ポーズ、人種、解像度などの困難な変動に対して顕著に性能向上を達成する。大規模なベンチマークにおいて、ArcFace や CosFace を上回る性能を示した。

ABSTRACT

Large facial variations are the main challenge in face recognition. To this end, previous variation-specific methods make full use of task-related prior to design special network losses, which are typically not general among different tasks and scenarios. In contrast, the existing generic methods focus on improving the feature discriminability to minimize the intra-class distance while maximizing the interclass distance, which perform well on easy samples but fail on hard samples. To improve the performance on those hard samples for general tasks, we propose a novel Distribution Distillation Loss to narrow the performance gap between easy and hard samples, which is a simple, effective and generic for various types of facial variations. Specifically, we first adopt state-of-the-art classifiers such as ArcFace to construct two similarity distributions: teacher distribution from easy samples and student distribution from hard samples. Then, we propose a novel distribution-driven loss to constrain the student distribution to approximate the teacher distribution, which thus leads to smaller overlap between the positive and negative pairs in the student distribution. We have conducted extensive experiments on both generic large-scale face benchmarks and benchmarks with diverse variations on race, resolution and pose. The quantitative results demonstrate the superiority of our method over strong baselines, e.g., Arcface and Cosface.

研究の動機と目的

• 顔認識における容易サンプルと困難サンプルの性能格差を、特に顔の大きな変動下でも解消すること。
• 異なる変動タイプにわたる一般化能力に欠けるタスク固有の損失関数の限界を克服すること。
• タスク固有の事前知識に依存せずに、困難なサンプルにおける特徴の識別性を向上させること。
• 多様な顔認識シナリオおよび変動に適用可能な汎用的損失関数を開発すること。
• 分布レベルの知識蒸留により、困難なサンプルにおけるクラス内分散の低減とクラス間重複の最小化を実現すること。

提案手法

• ArcFace などの最先端の分類器を用いて、容易サンプル（教師）と困難サンプル（学生）からの2つの類似度分布を生成する。
• 教師の分布に学生の分布を近づける分布駆動型損失を定義する。
• 学生の分布における正例対と負例対の重複を低減するように、蒸留損失を定式化する。
• 標準的な分類損失と併用して、提案された分布蒸留損失を用いて学生ネットワークをエンドツーエンドで訓練する。
• 教師の良好に分離された分布からの知識を活用し、困難なサンプルに対するより強固な表現学習を学生に指導する。
• タスク固有の設計や変動固有の事前知識に依存しないように、汎用性を保証する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の設計を用いない汎用的損失関数が、困難なサンプルにおける顔認識性能を効果的に向上させられるか？
• RQ2 容易なサンプルおよび困難なサンプルからの類似度分布を蒸留することで、特徴の識別性にどのような影響を与えるか？
• RQ3 分布蒸留が、多様な顔の変動にわたって容易サンプルと困難サンプルの性能格差をどの程度縮小できるか？
• RQ4 提案手法が、人種、解像度、ポーズの変動を含む異なるベンチマークに一般化可能か？
• RQ5 ArcFace や CosFace といった既存の最先端損失関数と比較して、分布蒸留損失は困難なサンプルの処理においてどのように優れているか？

主な発見

• 提案された Distribution Distillation Loss は、多様な顔の変動にわたって困難なサンプルにおける顔認識精度を顕著に向上させた。
• 大規模な顔認識ベンチマークにおいて、ArcFace や CosFace といった強力なベースラインを上回る性能を示した。
• 特に極端なポーズや低解像度といった困難な条件下でも、容易サンプルと困難サンプルの性能格差が顕著に縮小された。
• 人種や解像度の多様性を持つ複数のベンチマークにおいて、一貫した性能向上を達成した。
• タスク固有の適応を必要とせず、異なるネットワークアーキテクチャやデータ分布に対しても強い一般化性能を維持した。
• アブレーションスタディにより、性能向上の主因は分布蒸留機構そのものであり、単に ArcFace を教師として用いていることによるものではないことが確認された。