[論文レビュー] SensitiveLoss: Improving Accuracy and Fairness of Face Representations with Discrimination-Aware Deep Learning

Ignacio Serna, Aythami Morales+4 more|arXiv (Cornell University)|Apr 22, 2020

Face recognition and analysis被引用数 11

ひとこと要約

この論文は、事前学習モデルにおけるバイアスを特定・軽減することで、深層顔認識における公平性と精度を向上させる、差別のに配慮した損失関数「SensitiveLoss」を提案する。これは、感応属性を組み込んだ感応トリプルジェネレータを用いて、既存のネットワークに追加する形で動作し、再訓練によって表現を再学習することで、顔認識分野で最先端の公平性を達成した。顔認識性能の差を33%相対的に改善しながら、高い平均精度を維持した。

ABSTRACT

We propose a discrimination-aware learning method to improve both accuracy and fairness of biased face recognition algorithms. The most popular face recognition benchmarks assume a distribution of subjects without paying much attention to their demographic attributes. In this work, we perform a comprehensive discrimination-aware experimentation of deep learning-based face recognition. We also propose a general formulation of algorithmic discrimination with application to face biometrics. The experiments include tree popular face recognition models and three public databases composed of 64,000 identities from different demographic groups characterized by gender and ethnicity. We experimentally show that learning processes based on the most used face databases have led to popular pre-trained deep face models that present a strong algorithmic discrimination. We finally propose a discrimination-aware learning method, Sensitive Loss, based on the popular triplet loss function and a sensitive triplet generator. Our approach works as an add-on to pre-trained networks and is used to improve their performance in terms of average accuracy and fairness. The method shows results comparable to state-of-the-art de-biasing networks and represents a step forward to prevent discriminatory effects by automatic systems.

研究の動機と目的

• 広く使われている事前学習済み顔認識モデルにおけるアルゴリズム的差別の分析と定量的評価。
• バイオメトリクス分野の機械学習に適用可能なグループベースのアルゴリズム的差別の一般化された定式化の開発。
• 学習を再開することなく公平性を向上させる実用的で追加可能な手法の提案。
• 主な公開データセットを対象に、性的特徴（性別）および人種的特徴（民族）のバイアスが顔認識性能に与える影響の評価。
• 軽量で差別に配慮した訓練アプローチを用いて、公平性と精度を同時に向上させることの可能性の提示。

提案手法

• 性的特徴（性別、人種など）を組み込んだ、性能差に着目したアルゴリズム的差別の一般化定式化を提案。
• 感応属性を損失計算に組み込む変更版トリプル損失「SensitiveLoss」を導入。
• 性能が低い性的特徴グループに属する硬いトリプルを動的に選択する感応トリプルジェネレータを用いる。
• 事前学習モデル（VGG-Face、ResNet-50、ArcFace）の上に、再訓練を避けるためにファインチューニングヘッドとしてSensitiveLossを適用。
• 性能差を最小化する公平性に配慮した最適化目的関数を採用し、全体の精度を維持する。
• 64,000人の個人と150万枚の画像を含む3つの公開データセット（DiveFace、RFW、BUPT-B）で手法を検証。

実験結果

リサーチクエスチョン

• RQ1 一般的に使われている事前学習済み顔認識モデルは、性的特徴グループごとの性能差をどの程度示しているか？
• RQ2 精度を損なわせることなく、公平性を向上させる差別に配慮した損失関数を設計できるか？
• RQ3 学習からデバイアス化ネットワークを再構築するのと比較して、SensitiveLossは追加手法としてどの程度有効か？
• RQ4 性的特徴（性別、人種）が深層顔認識モデルの内部表現にどのような影響を与えるか？
• RQ5 軽量で後処理的な手法として、最小限の再学習で既存モデルのアルゴリズム的バイアスを低減できるか？

主な発見

• テストされた2つの事前学習モデル（VGG-FaceとResNet-50）は、最も性能が良いグループと比較して、代表されない性的特徴グループにおいて、顔認識性能が最大200%の相対的誤差低下を示した。
• SensitiveLossは、ベースラインと比較して、性的特徴グループ間の性能差を33%相対的に改善し、公平性スコアを3.37（ベースラインは4.81）まで向上させた。
• この手法は、すべてのグループの平均精度をベースラインと比較して25%相対的に向上させ、標準偏差が0.54であったため、性能のばらつきが低減された。
• 内部活性化解析により、異なる性的特徴グループに対して、明確で偏った特徴パターンがネットワーク層に確認され、アルゴリズム的バイアスの存在が裏付けられた。
• SensitiveLossは、RL-RBN や DebFace といった専用のデバイアス化ネットワークよりも公平性向上の面で優れており、よりシンプルで、既存モデルへの追加が可能であった。
• この手法は、3つの多様なデータセット（DiveFace、RFW、BUPT-B）で安定した性能を示し、汎用性と実用的価値の両方を確認した。