[論文レビュー] Image Counterfactual Sensitivity Analysis for Detecting Unintended Bias

Emily Denton, Ben Hutchinson+3 more|arXiv (Cornell University)|Jun 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 19

ひとこと要約

本論文では、生成的対抗ネットワーク（GAN）を用いて顔の特徴の制御された現実的な画像摂動を生成し、分類器の予測に与える影響を測定する、画像対応的感度分析というフレームワークを提案する。笑顔属性分類器に適用したところ、照明、ポーズ、肌の色など、顔の表情とは無関係な要因が予測に顕著に影響することが明らかになり、顔認識モデルにおける意図しないバイアスを検出する実用的な手法であることが示された。

ABSTRACT

Facial analysis models are increasingly used in applications that have serious impacts on people's lives, ranging from authentication to surveillance tracking. It is therefore critical to develop techniques that can reveal unintended biases in facial classifiers to help guide the ethical use of facial analysis technology. This work proposes a framework called extit{image counterfactual sensitivity analysis}, which we explore as a proof-of-concept in analyzing a smiling attribute classifier trained on faces of celebrities. The framework utilizes counterfactuals to examine how a classifier's prediction changes if a face characteristic slightly changes. We leverage recent advances in generative adversarial networks to build a realistic generative model of face images that affords controlled manipulation of specific image characteristics. We then introduce a set of metrics that measure the effect of manipulating a specific property on the output of the trained classifier. Empirically, we find several different factors of variation that affect the predictions of the smiling classifier. This proof-of-concept demonstrates potential ways generative models can be leveraged for fine-grained analysis of bias and fairness.

研究の動機と目的

• 監視や認証など、高リスクな応用分野における顔認識モデルにおける意図しないバイアスを検出する手法を開発すること。
• 人種や性別といった顕著な属性以外の、微細で明確でない要因の変動が分類器の予測に与える影響を特定する課題に対処すること。
• 微細で解釈可能な分析が可能なプロトタイプフレームワークを構築し、画像レベルの小さな変化がモデル出力に与える影響を明らかにすること。
• 生成モデルを活用して、摂動状態下での分類器の挙動を調査できる現実的で制御された対応的画像を生成すること。

提案手法

• 特定の顔の特徴を制御的に操作できる現実的な顔画像多様体を学習するために、生成的対抗ネットワーク（GAN）を用いる。
• 照明、ポーズ、肌の色などの特定の属性を摂動させながら、他の特徴を一定に保つことで、対応的画像を生成する。
• 有名人の顔を用いて笑顔属性分類器を学習し、バイアス分析の対象となるモデルとする。
• 特定の画像特性の変化が、笑顔属性に対する分類器の出力確率に与える影響を定量化するための指標群を適用する。
• 生成された画像内の個々の変動要因を分離・変更できる分離表現空間を活用する。
• 分類器の予測が各 manipulated 要因に対してどれほど感受性を示すかを分析し、バイアスを示唆するパターンを特定する。

実験結果

リサーチクエスチョン

• RQ1 照明、ポーズ、肌の色といった顔画像特性の制御された変化が、笑顔属性分類器の予測にどのように影響するか。
• RQ2 顔画像内のどの特定の変動要因が、分類器出力の顕著なシフトを引き起こし、潜在的なバイアスを示唆するか。
• RQ3 生成モデルを用いて、微細な公平性分析を可能にする現実的で制御された対応的画像を生成することはどの程度可能か。
• RQ4 画像対応的感度分析により、標準的な公平性指標では明らかにならない隠れたバイアスを特定できるか。

主な発見

• 笑顔属性分類器は、照明やポーズといった意味的でない画像要因に対して顕著な感受性を示しており、実際の顔の表情とは無関係なバイアスの可能性が示唆された。
• 肌の色が予測結果に影響を与えることが判明し、モデルが異なる人種的グループに均等に一般化していない可能性が示唆された。
• フレームワークは、顔の表情が変わらなくても分類器の予測を変える複数の変動要因を効果的に同定した。
• GANを用いた対応的画像の活用により、現実的で制御された摂動が可能となり、分析は解釈可能かつ実証的根拠を備えたものとなった。
• 微細で現実的な画像レベルの変化が、予測結果に大きなシフトを引き起こすことが判明し、一部の顔認識分類器が微小な視覚的変化に対して極めて感受性を示すことが明らかになった。
• 本手法により、集計的な公平性指標だけでは検出できないバイアスパターンを明らかにできることが示された。