[論文レビュー] Gender Slopes: Counterfactual Fairness for Computer Vision Models by Attribute Manipulation

Jungseock Joo, Kimmo Kärkkäinen|arXiv (Cornell University)|May 21, 2020

Ethics and Social Impacts of AI参考文献 31被引用数 6

ひとこと要約

本稿では、顔の性別および人種属性を制御的に変更できるエンコーダ・デコーダネットワークを用いて、顔画像を合成する反事後的公平性評価フレームワークを提案する。これらの属性を操作しながら他の特徴を維持することで、商用APIの性別および人種的側面への感受性を測定し、顕著なバイアスを明らかにした—例えば、女性顔の被写体に対して看護師のスコアが高くなる傾向や、検索結果における人種の歪みが見られた。

ABSTRACT

Automated computer vision systems have been applied in many domains including security, law enforcement, and personal devices, but recent reports suggest that these systems may produce biased results, discriminating against people in certain demographic groups. Diagnosing and understanding the underlying true causes of model biases, however, are challenging tasks because modern computer vision systems rely on complex black-box models whose behaviors are hard to decode. We propose to use an encoder-decoder network developed for image attribute manipulation to synthesize facial images varying in the dimensions of gender and race while keeping other signals intact. We use these synthesized images to measure counterfactual fairness of commercial computer vision classifiers by examining the degree to which these classifiers are affected by gender and racial cues controlled in the images, e.g., feminine faces may elicit higher scores for the concept of nurse and lower scores for STEM-related concepts. We also report the skewed gender representations in an online search service on profession-related keywords, which may explain the origin of the biases encoded in the models.

研究の動機と目的

• ブラックボックス性のため検出が難しい、商用コンピュータビジョンモデルに潜む隠れたバイアスを診断すること。
• 反事後的介入を用いて、特に性別および人種という感受性の高い属性がモデル予測に与える影響を分離すること。
• オンラインメディアにおける歪んだ表現（例：Google画像検索結果）を分析することで、バイアスの原因を調査すること。
• バイアス評価および是正研究のため、30万枚の制御された属性を有する合成画像からなる公開データセットを構築すること。
• トレーニングデータおよびモデルアーキテクチャが不明な商用APIにおける公平性評価手法を提供すること。

提案手法

• FaderNet (Lample et al., 2017) をベースにしたエンコーダ・デコーダアーキテクチャを用い、感受性の高い属性（性別、人種）を他の顔特徴から明示的に分離する。
• 元の画像（n=64,500）に対して属性操作を施し、制御された性別および人種的特徴を有する30万枚の反事後的顔画像を生成する。
• エンコーダにおける分離表現を維持することで、アイデンティティおよび非感受性属性を保持し、変更対象の属性以外は変化させない。
• 敵対的訓練を用いて合成画像の質および現実性を向上させ、モデル挙動の信頼性ある評価を確保する。
• 商用API（IBM、Clarifai、Google）を合成画像に対してテストし、属性を操作した際の予測スコアの変化を測定する。
• 線形回帰を用いて感受性を定量化：性別／人種属性の単位変化に伴う予測スコア変化の勾配（傾き）を算出し、p値 < 0.001 を用いる。

実験結果

リサーチクエスチョン

• RQ1 商用コンピュータビジョンAPIは、性別および人種属性の反事後的変化に対してどの程度感受性を示すか？
• RQ2 職業関連の概念（例：看護師、警察官）の予測スコアは、顔の属性を操作することでどのように変化するか？
• RQ3 オンライン画像検索結果における性別および人種の歪みの程度はどの程度で、それがモデルバイアスにどのように寄与しているか？
• RQ4 分離された属性操作は、感受性属性がモデル出力に与える影響を効果的に分離できるか？
• RQ5 特定のラベルや概念において、APIの予測で特に強い性別または人種バイアスが見られるか？

主な発見

• IBMのAPIでは、人種をブラックからホワイトに変更した際の「女性スピーチャー」のスコアに-0.69の強い負の勾配が観察され、性別化された役割認識に顕著なバイアスが存在することが示された。
• Googleの「ビューティー」ラベルでは、人種をブラックからホワイトに変更した際の勾配が+0.06であり、美的分類における人種バイアスが示唆された。
• Google画像検索では性別表現の歪みが確認された：「栄養士」の検索結果の92.1％が女性で、『害虫駆除作業員』の97.1％が男性であった。
• 人種の歪みも観察された：「歴史家」の検索結果の88.5％が白人であった一方で、「バスケットボール選手」の20.0％しか白人ではなかった。これは人種的ステレオタイプを示唆している。
• 人種の操作において、IBMの「米国大統領」ラベルには-0.367の勾配が観察され、白人との関連付けが高地位の役職に強くバイアスされていることが明らかになった。
• 本研究では、モデルの内部構造が不明な状態でも、制御された属性を有する30万枚の合成画像が、商用APIに潜む隠れたバイアスを効果的に暴露できることを示した。