[論文レビュー] A Replication Study: Machine Learning Models Are Capable of Predicting Sexual Orientation From Facial Images

John Leuner|arXiv (Cornell University)|Feb 27, 2019

Evolutionary Psychology and Human Behavior参考文献 25被引用数 17

ひとこと要約

この再現研究は、深層ニューラルネットワークを用いた機械学習モデルが、顔の画像から性的指向を高い精度で予測できることを確認した（男性：68％、女性：77％）。また、顔の形状（62％男性、72％女性）や、ぼやけた画像（低レベルの色・明るさ特徴のみを含む）からも予測が可能である（男性：63％、女性：72％）ことが示された。これは、顔の構造そのものだけでなく、ヘアスタイル、照明、画像処理のアーティファクトがモデルの性能に大きく寄与していることを示している。

ABSTRACT

Recent research used machine learning methods to predict a person's sexual orientation from their photograph (Wang and Kosinski, 2017). To verify this result, two of these models are replicated, one based on a deep neural network (DNN) and one on facial morphology (FM). Using a new dataset of 20,910 photographs from dating websites, the ability to predict sexual orientation is confirmed (DNN accuracy male 68%, female 77%, FM male 62%, female 72%). To investigate whether facial features such as brightness or predominant colours are predictive of sexual orientation, a new model based on highly blurred facial images was created. This model was also able to predict sexual orientation (male 63%, female 72%). The tested models are invariant to intentional changes to a subject's makeup, eyewear, facial hair and head pose (angle that the photograph is taken at). It is shown that the head pose is not correlated with sexual orientation. While demonstrating that dating profile images carry rich information about sexual orientation these results leave open the question of how much is determined by facial morphology and how much by differences in grooming, presentation and lifestyle. The advent of new technology that is able to detect sexual orientation in this way may have serious implications for the privacy and safety of gay men and women.

研究の動機と目的

• WangとKosinski（2017）が報告した、機械学習が顔の画像から性的指向を予測可能であるという結果の再現と検証。
• 顔の形状、ヘアスタイル、画像処理のアーティファクトのうち、予測精度に寄与する主な要因が何かを調査。
• 化粧、ヒゲ、眼鏡、頭の向きの変更といった意図的な外見の変化に対して、モデルの頑健性を評価。
• ぼやけた画像における明るさ、色相、彩度といった低レベルの視覚的特徴が、性的指向の予測にどの程度寄与するかを評価。
• こうしたモデルがLGBTQ+の人々のプライバシーと安全に与える影響を評価。

提案手法

• 米国に住む白人を対象に、オンライン交際プロフィールから20,910枚の顔画像を収集した新データセットを構築。
• 顔の部分を切り出した画像を用いて、深層ニューラルネットワーク（DNN）モデルを訓練し、性的指向予測のための高レベル特徴を抽出。
• 顔の輪郭、目や鼻の位置、顔の形状といった幾何的特徴を用いて、顔の形状（FM）分類器を開発。
• 極度にぼやけた画像（1×1ピクセルおよび5×5ピクセル解像度）を用いて、低レベルの色と明るさ情報に限定したモデルを訓練。
• 化粧、ヒゲ、眼鏡、頭の向きの変更といった制御された実験を実施し、モデルの不変性をテスト。
• すべての研究で、受信者操作特性曲線（AUC）の下側面積を主な評価指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 WangとKosinskiが報告したように、機械学習モデルが顔の画像から性的指向を高い精度で再現可能か？
• RQ2 ぼやけた画像における明るさ、色相、彩度といった低レベルの画像特徴が、予測精度にどの程度寄与するか？
• RQ3 化粧、ヒゲ、眼鏡、頭の向きの変更といった意図的な外見の変化に対して、モデルは頑健か？
• RQ4 頭の向きと性的指向との間に相関があるか、あるいは予測がポーズの変化に対して不変か？
• RQ5 髪型の違い、ライフスタイル、画像処理のアーティファクトが、顔の生物学的形状よりもモデル性能にどの程度影響を与えているか？

主な発見

• DNNモデルは男性でAUC 0.68、女性でAUC 0.77を達成し、WangとKosinskiの結果を再現・確認した。
• 顔の形状分類器は男性でAUC 0.62、女性でAUC 0.72を達成し、幾何的顔特徴のみでも予測可能であることが示された。
• 5×5ピクセルのぼやけた画像を用いて訓練したモデルは、男性でAUC 0.63、女性でAUC 0.72を達成し、低レベルの色と明るさ特徴が予測に寄与することを証明した。
• モデルは化粧、ヒゲ、眼鏡、頭の向きの変更といった意図的な外見の変化に対して、依然として頑健であった。これは、これらの変化に対して不変であることを示している。
• 頭の向きと性的指向との間に有意な相関は認められず、モデルの予測にポーズの変化が影響しないことが示唆された。
• 合成画像と色の分布分析から、異性指向の女性とゲイ男性は、顔が明るく、唇の色が鮮やかである傾向があることが判明し、これはヘアスタイルや照明の違いが主な予測要因である可能性を示唆している。