[论文解读] Measuring Trustworthiness or Automating Physiognomy? A Comment on Safra, Chevallier, Grèzes, and Baumard (2020)

Rory W Spanton, Olivia Guest|arXiv (Cornell University)|Feb 17, 2022

Face Recognition and Perception被引用 5

一句话总结

本文批判Safra等人（2020年）将感知可信度与实际社会信任混淆，认为其基于历史肖像画中面部特征训练的机器学习模型，实为自动化面相学。作者证明该模型的主张在方法论上存在缺陷，统计上乏力，且因种族与文化偏见而存在伦理问题，若在高风险情境中应用，可能造成实际危害。

ABSTRACT

Interpersonal trust - a shared display of confidence and vulnerability toward other individuals - can be seen as instrumental in the development of human societies. Safra, Chevallier, Grèzes, and Baumard (2020) studied the historical progression of interpersonal trust by training a machine learning (ML) algorithm to generate trustworthiness ratings of historical portraits, based on facial features. They reported that trustworthiness ratings of portraits dated between 1500--2000CE increased with time, claiming that this evidenced a broader increase in interpersonal trust coinciding with several metrics of societal progress. We argue that these claims are confounded by several methodological and analytical issues and highlight troubling parallels between Safra et al.'s algorithm and the pseudoscience of physiognomy. We discuss the implications and potential real-world consequences of these issues in further detail.

研究动机与目标

• 挑战Safra等人（2020年）的主张，即肖像画中可信度评分的上升反映人际信任的真实历史增长。
• 揭示模型在训练、数据选择与统计分析方面的方法论缺陷。
• 强调算法面相学的伦理风险，特别是其可能强化种族与文化偏见。
• 呼吁研究界拒绝在AI与机器学习研究中采用面相学假设。
• 强调必须对从有偏见、狭窄的数据集推广至广泛社会结论的AI主张保持批判性审视。

提出的方法

• 作者分析Safra等人提出的机器学习模型，该模型利用面部动作单元从肖像图像中预测可信度。
• 将模型输出与历史面相学插图进行对比，揭示其在视觉与概念上与伪科学面部刻板印象存在相似性。
• 通过检查报告的p值、效应量及对时间等协变量的敏感性，评估模型的统计稳健性。
• 评估训练数据的人口代表性，指出其仅使用白人面部形象及WEIRD参与者样本。
• 检验算法与人类评分的相关性（r = .22），表明其在真实人脸上的泛化能力较差。
• 认为该模型将人类感知偏见系统化为一种自动化、可扩展的面相学形式。

实验结果

研究问题

• RQ1 Safra等人算法在多大程度上测量的是感知可信度，而非实际社会信任？
• RQ2 数据选择与统计分析中的方法论缺陷在多大程度上削弱了其声称的历史趋势的有效性？
• RQ3 该算法在哪些方面复制了历史面相学的假设与风险？
• RQ4 基于面部特征的AI推断社会层面行为变化具有何种伦理影响？
• RQ5 算法偏见——尤其是种族与文化偏见——在多大程度上损害了模型结论的可靠性与公平性？

主要发现

• 模型与人类可信度判断的相关性较弱（r = .22），表明其在真实人脸上的泛化能力差。
• 在某一测试集中，预测可信度与民主价值观之间的关联不显著，且在引入时间作为协变量后亦不具稳健性。
• 该算法仅在白人面部形象上进行训练，增加了预测中种族偏见的风险。
• 研究依赖WEIRD参与者样本，削弱了其对具有不同文化规范的历史人群的可推广性。
• 模型输出与历史面相学高度相似，引发对其可能自动化歧视性判断的严重伦理担忧。
• 本文结论认为，该算法并非中立工具，而是一种自动化面相学，若被误用，具有造成现实世界伤害的潜在风险。