[論文レビュー] InclusiveFaceNet: Improving Face Attribute Detection with Race and Gender Diversity

Hee Jung Ryu, Hartwig Adam+1 more|arXiv (Cornell University)|Dec 1, 2017

Face recognition and analysis参考文献 13被引用数 81

ひとこと要約

tldr: InclusiveFaceNet は held-outデータセット から 人種と性別の表現を学習し、それらを face attribute detection に転移させることで、マイノリティサブグループ全体の精度を改善しつつ、人口統計上のプライバシーを保護します。

ABSTRACT

We demonstrate an approach to face attribute detection that retains or improves attribute detection accuracy across gender and race subgroups by learning demographic information prior to learning the attribute detection task. The system, which we call InclusiveFaceNet, detects face attributes by transferring race and gender representations learned from a held-out dataset of public race and gender identities. Leveraging learned demographic representations while withholding demographic inference from the downstream face attribute detection task preserves potential users' demographic privacy while resulting in some of the best reported numbers to date on attribute detection in the Faces of the World and CelebA datasets.

研究の動機と目的

• 人種と性別のサブグループ間で顔属性検出の公平性を改善する必要性を喚起する。
• ランタイムの人口統計推定を必要とせず、人口統計表現を組み込むための二段階の転移学習アプローチを提案する。
• 人口統計の多様性を活用することで全体およびサブグループ別の精度が向上することを示す。
• 本手法が公開データセット（FotW および CelebA）で競争力のあるまたは優れた結果を達成することを示す。

提案手法

• 一様分布を有する分離データセットから、人種と性別の人口統計表現を抽出するために face recognition モデル（FaceNet）からの転移学習を用いる。
• 基礎認識表現を固定し、属性検出器の学習前に人種と性別のための別個だが結合した分類器（diversity classifier）を訓練する。
• 学習済みの人種と性別の表現を下流の顔属性検出ネットワーク（InclusiveFaceNet）に二段階の転移学習設定で転移する。
• 転移した人種・性別ヘッドを用いたマルチヘッド顔属性検出器を訓練する一方で、デプロイ時には人口統計属性の推定を行わない。
• サブグループごとの精度と平均偽率（AFR）を用いて公平性を評価する。
• ベースラインおよび既知技術と比較して、データセット全体で最先端の性能を確立する。

実験結果

リサーチクエスチョン

• RQ1 分離データセットから学習した人種と性別の表現は、 人種および性別のサブグループ全体で顔属性検出を改善できるか？
• RQ2 人口統計表現の転移は、ランタイムでの人口統計推定を必要とせずに全体の属性検出精度を改善するか？
• RQ3 InclusiveFaceNet は Faces of the World (FotW) および CelebA データセットで、従来手法と比較してどのように動作するか？

主な発見

• 二段階の転移学習アプローチは、ベースラインの属性検出と同等またはそれを上回り、CelebA および FotW で性別の境界を跨いだ新しい最先端の性能を確立する。
• 人種表現の転移は、複数の属性とサブグループで精度向上をもたらし、 FotW での笑顔検出の顕著な改善を含む。
• CelebA では、40 属性中 23 属性で人種表現の精度が向上し、いくつかの属性では絶対値で最大 0.9% の利得を示す一方、いくつかの属性は小さな損失を示す。
• 全体として CelebA の 40 属性中 35 属性が人種転移で維持または改善され、10 属性が新しい最先端の精度に到達する。
• FotW の結果は、提案モデルが人種と性別の転移を用いることで従来技術を上回り、最良モデルは笑顔検出で 90.96% の精度を達成（人種転移）している。
• この手法は、デプロイ時に人口統計属性を推定しないことで人口統計上のプライバシーを守る。