[論文レビュー] Stereotype-Free Classification of Fictitious Faces

Mohammadhossein Toutiaee, Soheyla Amirian+2 more|arXiv (Cornell University)|Apr 29, 2020

Face recognition and analysis参考文献 14被引用数 6

ひとこと要約

本論文は、性別や人種のステレオタイプにとらわれない合成 GAN 顔を分類するための罰則付き回帰アプローチ——特にリッジロジスティック回帰——を提案する。潜在空間における本物の顔からの距離を最小化することで、ステレオタイプのないラベル付けが可能となり、人間の知覚やディープラーニングのベースラインを上回る公平性を達成する。p値はマイノリティに対する顕著なバイアスがないことを示している。

ABSTRACT

Equal Opportunity and Fairness are receiving increasing attention in artificial intelligence. Stereotyping is another source of discrimination, which yet has been unstudied in literature. GAN-made faces would be exposed to such discrimination, if they are classified by human perception. It is possible to eliminate the human impact on fictitious faces classification task by the use of statistical approaches. We present a novel approach through penalized regression to label stereotype-free GAN-generated synthetic unlabeled images. The proposed approach aids labeling new data (fictitious output images) by minimizing a penalized version of the least squares cost function between realistic pictures and target pictures.

研究の動機と目的

• GAN が生成する合成顔に対する人間の知覚におけるステレオタイプに基づく差別を是正すること。特に人種および性別に関するものである。
• 主観的な人間の判断に依存せずに、信頼性の高い自動化された方法で架空の顔をラベル付けすること。
• アフリカ系アメリカ人や女性などのマイノリティグループに対するバイアスを最小限に抑えることで、分類の公平性を確保すること。
• 実在する顔のアイデンティティが存在しない合成データに適用可能な、グランドトゥルースフリーのラベル付けフレームワークを提供すること。
• p値および EMD メトリクスを用いて、人間の知覚、ディープラーニングモデル、および提案された統計的手法の公平性を評価・比較すること。

提案手法

• 本手法は、潜在空間における本物の顔との類似度に基づき、GAN が生成した顔の感受性属性（人種、性別）を予測するための罰則付き回帰（特にリッジロジスティック回帰）を用いる。
• 分類タスクを、合成画像と本物の顔埋め込みの間の罰則付き最小二乗コスト関数の最小化として定式化する。
• 合成顔とトレーニングセット内の本物の顔との距離を測るための類似度指標として、エアス・モーバー距離（EMD）を用いる。
• 画像特徴と保護属性との関係を反映する重みをモデルが推定し、符号の解釈は基準クラスに基づく（例：人種分類では負の係数がアフリカ系アメリカ人を示す）。
• 本手法は生成後処理として適用され、合成画像にグランドトゥルースラベルを必要とせず、複数の属性にスケーラブルかつ解釈可能であるように設計されている。
• 公平性は、二項検定からの両側検定のp値を用いて評価され、グループ間の同等な好みの帰無仮説が棄却されるかどうかを検証する。

実験結果

リサーチクエスチョン

• RQ1 人間の知覚と比較して、統計的手法が GAN が生成する顔の分類におけるステレオタイプに基づくバイアスを低減できるか？
• RQ2 リッジロジスティック回帰は、人種および性別付与の観点から、ディープラーニングのベースラインと比較してより公平なラベル付けを合成顔に対して行えるか？
• RQ3 人間の知覚は、架空の顔を評価する際に、より肌の色が薄い人や男性顔に対して系統的な好みを示すか？
• RQ4 本物の顔埋め込みに基づいて学習したモデルは、グランドトゥルースが存在しない状況でも、合成顔を信頼性高くラベル付けできるか？
• RQ5 本物のラベルが存在しない合成データにおいて、提案された手法はバイアスに対して頑健であるか？

主な発見

• 人間の知覚は人種分類において白人グループに顕著に好意的である（p < 0.05）ため、強いステレオタイプバイアスが存在する。
• リッジロジスティック回帰モデルは、p値が有意でないため、どの人種や性別に対しても顕著な好みがないステレオタイプフリーのラベル付けを達成した。
• 本手法は、人間の知覚およびディープラーニングのベースラインを上回り、アフリカ系アメリカ人や女性のアイデンティティに対するバイアスの証拠がなかった。
• エアス・モーバー距離（EMD）を類似度指標として用いることで、顔貌属性の微細な差をモデルがよりよく捉える能力が向上した。
• リッジロジスティック回帰は、分類精度を高い水準に維持しながらも、公平性を確保した。これは正則化が性能と公平性の両方を支援することを示している。
• 結果から、人間の知覚は本物の顔とは異なる顔のラベル付けに不確実であることが確認され、統計的手法がより客観的な代替手段を提供できることが示された。