[論文レビュー] SensitiveNets: Learning Agnostic Representations with Application to Face Recognition.

Aythami Morales, Julián Fiérrez+1 more|arXiv (Cornell University)|Feb 1, 2019

Face recognition and analysis参考文献 27被引用数 37

ひとこと要約

この論文では、一般化された三重損失を用いて顔特徴空間から性別や民族といった感受性のある属性を除去することで、感受性のない表現を学習するニューラルネットワークフレームワーク、SensitiveNetsを提案する。この手法は顔認識の高い正確性を維持しながら、顔認識におけるデモグラフィックバイアスを顕著に低減する。120,000枚の画像を含む24,000人の個人をカバーする大規模かつバランスの取れたデータセットで検証された。

ABSTRACT

This work proposes a new neural network feature representation that help to leave out sensitive information in the decision-making process of pattern recognition and machine learning algorithms. The aim of this work is to develop a learning method capable to remove certain information from the feature space without drop of performance in a recognition task based on that feature space. Our work is in part motivated by the new international regulation for personal data protection, which forces data controllers to avoid discriminative hazards while managing sensitive data of users. Our method is based on a triplet loss learning generalization that introduces a sensitive information removal process. The method is evaluated on face recognition technologies using state-of-the-art algorithms and publicly available benchmarks. In addition, we present a new annotation dataset with balanced distribution between genders and ethnic origins. The dataset includes more than 120K images from 24K identities with variety of poses, image quality, facial expressions, and illumination. The experiments demonstrate that it is possible to reduce sensitive information such as gender or ethnicity in the feature representation while retaining competitive performance in a face recognition task.

研究の動機と目的

• 顔認識における差別の的AIに関する増大する規制的・倫理的懸念に応えるために、感受性のある属性の漏洩を最小限に抑える。
• 深層学習手法を開発し、認識性能を低下させることなく、学習された特徴表現から感受性のある情報（例：性別、民族）を除去する。
• 多様なポーズ、照明、表情、および均等な性別と民族の分布を備えた、大規模かつバランスの取れたベンチマークデータセットを構築し、公平な評価を可能にする。
• 特徴空間に感受性のある情報が効果的に抑制可能であることを示し、顔認識タスクにおいて競争力ある性能を維持する。

提案手法

• 感受性のある属性の不変性を特徴学習中に組み込む一般化された三重損失関数を導入する。
• ネットワークを訓練して、アーキテクチャとポジティブサンプル間の距離を最小化し、ネガティブサンプルとの距離を最大化するようにするが、感受性のある属性にかかわらず行う。
• 訓練中に感受性のある属性を主な表現空間から分離するための感受性のある属性除去モジュールを適用する。
• 二重ストリームアーキテクチャを用い、一方のストリームはアイデンティティに依存しない特徴を学習し、もう一方のストリームは敵対的または対照的正則化によって感受性のある属性を抑制する。
• 多様なポーズ、照明、表情、および人種的・性別のグループをカバーする120,000枚の画像を含む大規模かつバランスの取れたデータセットを活用する。
• アイデンティティ認識の正確性と感受性のある属性の抑制の両方をバランスさせる統合損失関数を用いて、モデルをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 性別や民族といった感受性のある属性に不変であるが、認識正確性を損なわないように顔表現を学習できる深層ニューラルネットワークを訓練できるか？
• RQ2 修正された三重損失目的関数を用いることで、学習された特徴空間からどの程度感受性のある情報を取り除けるか？
• RQ3 性別と民族の代表が均等なバランスの取れたデータセットで訓練された顔認識モデルの性能は、不均衡なベンチマークと比較してどのように変化するか？
• RQ4 埋め込み空間において、アイデンティティ情報と感受性のある属性を分離可能か？ その際、下流の認識性能を高い水準に維持できるか？

主な発見

• 提案されたSensitiveNets手法は、顔認識の正確性を維持しつつ、学習された顔表現からの感受性のある属性（性別、民族など）の漏洩を効果的に低減した。
• 実験の結果、特徴空間で感受性のある属性が抑制されても、標準的な顔認識ベンチマークで高い性能を達成していることが示された。
• 24,000人の個人からなる120,000枚の画像を含む大規模かつバランスの取れたデータセットは、多様なデモグラフィックグループにわたる顔認識モデルのより強固で公平な評価を可能にした。
• 感受性の不変性制約を組み込んだ一般化された三重損失は、性能の低下を伴わずに、デモグラフィックバイアスに対して頑健な表現を効果的に学習した。
• この手法は、特徴表現から感受性のある情報を除去しても、異なるアイデンティティを区別する能力がモデルの能力に影響を与えないことを示した。
• 結果から、訓練段階で明示的にアーキテクチャの表現を学習することで、より公平な顔認識システムを構築することが可能であると確認された。