[論文レビュー] Deep Learning for Face Recognition: Pride or Prejudiced?

Shruti Nagpal, Maneet Singh+2 more|arXiv (Cornell University)|Apr 2, 2019

Face recognition and analysis参考文献 33被引用数 39

ひとこと要約

この論文は、最先端の深層学習顔認識モデルが own-race および own-age バイアスを符号化しているかを分析し、4つのネットワークと36の実験を横断してバイアスがどこでどのように現れるかを検討する。

ABSTRACT

Do very high accuracies of deep networks suggest pride of effective AI or are deep networks prejudiced? Do they suffer from in-group biases (own-race-bias and own-age-bias), and mimic the human behavior? Is in-group specific information being encoded sub-consciously by the deep networks? This research attempts to answer these questions and presents an in-depth analysis of `bias' in deep learning based face recognition systems. This is the first work which decodes if and where bias is encoded for face recognition. Taking cues from cognitive studies, we inspect if deep networks are also affected by social in- and out-group effect. Networks are analyzed for own-race and own-age bias, both of which have been well established in human beings. The sub-conscious behavior of face recognition models is examined to understand if they encode race or age specific features for face recognition. Analysis is performed based on 36 experiments conducted on multiple datasets. Four deep learning networks either trained from scratch or pre-trained on over 10M images are used. Variations across class activation maps and feature visualizations provide novel insights into the functioning of deep learning systems, suggesting behavior similar to humans. It is our belief that a better understanding of state-of-the-art deep learning networks would enable researchers to address the given challenge of bias in AI, and develop fairer systems.

研究の動機と目的

• 深層学習の顔認識が人種特異情報（own-race bias）および年齢特異情報（own-age bias）を符号化しているかを評価する。
• 異なるサブグループにおいてネットワークが依拠する表情領域を特定し、トレーニングデータ分布がバイアスにどのように影響するかを明らかにする。
• 事前学習とファインチューニングがバイアスおよび興味領域パターンに与える影響を調査する。
• 顔認識におけるデバイアス化を導く指針と、より公平なAIを実現する示唆を提供する。

提案手法

• 大規模データセットで事前学習済みまたはゼロから学習した4つの深層学習顔認識ネットワーク（LightCNN-9、LightCNN-29、ResNet50、SENet50）を分析する。
• クラス活性化マップ（CAM）と特徴可視化を用いて、サブグループ間で識別に寄与する顔領域を特定する。
• 訓練セットとテストセットを分離した状態で、レース（Race-A 対 Race-B）と年齢層（0–14、15–32、33+）の36の統制実験を実施する。
• 1% FAR（Genuine Acceptance Rate）で検証精度を用いてレースおよび年齢ベースのサブグループ間の性能を比較する。
• ゼロからの訓練、大規模データセットでの事前学習、サブグループ間のテスト、およびファインチューニングが興味領域の移動に及ぼす影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 深層学習の顔認識は人種特異情報を符号化し、own-race bias を生み出すのか？
• RQ2 深層学習は年齢特異情報を符号化し、own-age bias を生み出すのか？
• RQ3 異なる人種や年齢層内で個人を識別する際、ネットワークはどの顔領域に依存しているのか？
• RQ4 事前学習とファインチューニングは、サブグループ間のバイアスと領域フォーカスにどのような影響を与えるのか？

主な発見

• 単一の人種で訓練されたネットワークは他の人種に対して一般化が乏しく、学習特徴に own-race 偏見が現れている。
• 事前学習済みネットワークは人種バイアスのある性能を示し、制約のないデータでもRace-Aの方がRace-Bより精度が高い。
• CAM解析では人種特異的な関心領域が現れ、モデルによる人種情報の潜在的符号化を支持している。
• 若年層（0–14）で認識性能が低下するown-age bias の証拠があり、ネットワーク全体で観察される。事前学習は役立つが完全には緩和しない。
• ファインチューニングは関心領域を変化させ、時にはサブグループ固有の顔領域に集中して一般化を低下させる可能性がある。
• 大規模な事前学習は全体的な精度を向上させるが、サブグループのバイアスを排除しない。データ分布が重要な要因であることを強調している。