[论文解读] Beauty Learning and Counterfactual Inference

Tao Li|arXiv (Cornell University)|Apr 1, 2019

Face Recognition and Perception被引用 3

一句话总结

本文提出了一种新颖的因果发现框架，通过结合用户实验与逼真图像生成，建模面部语义与感知美感之间的因果关系。结果表明，深度模型能够学习并量化美感作为因果结果，通过用户对生成图像的评估，与实证研究结果一致。

ABSTRACT

This work showcases a new approach for causal discovery by leveraging user experiments and recent advances in photo-realistic image editing, demonstrating a potential of identifying causal factors and understanding complex systems counterfactually. We introduce the beauty learning problem as an example, which has been discussed metaphysically for centuries and been proved exists, is quantifiable, and can be learned by deep models in our recent paper, where we utilize a natural image generator coupled with user studies to infer causal effects from facial semantics to beauty outcomes, the results of which also align with existing empirical studies. We expect the proposed framework for a broader application in causal inference.

研究动机与目标

• 开发一种利用用户实验与图像生成的复杂系统因果发现框架。
• 通过将美感量化为可学习的因果结果，回应长久以来的哲学问题。
• 通过深度学习验证感知美感可被建模为面部语义的因果函数。
• 展示该方法在其他需要反事实推理的领域的广泛适用性。

提出的方法

• 利用预训练的自然图像生成器，合成具有受控语义属性的多样化面部图像。
• 设计用户研究，收集人类对生成面部变化的感知美感判断。
• 使用人类反馈训练深度模型，学习从面部语义到美感结果的映射。
• 应用反事实推理，评估面部特征变化如何因果影响感知美感。
• 利用模型预测生成反事实图像，模拟美感感知的“如果……会怎样”情景。
• 将因果模型的预测与面部美学领域现有的实证研究进行验证。

实验结果

研究问题

• RQ1 感知美感能否被定量建模为面部语义属性的因果函数？
• RQ2 根据用户研究，面部特征的受控变化如何影响人类对美感的感知？
• RQ3 模型生成的反事实图像在多大程度上与人类对美感的判断一致？
• RQ4 基于用户反馈训练的深度学习模型能否准确推断面部美学中的因果关系？
• RQ5 所提出的框架是否能推广到其他需要从感知数据中进行因果推断的领域？

主要发现

• 该模型成功学习从面部语义预测感知美感，且与人类判断高度一致。
• 用户研究证实，特定面部属性的变化会导致感知美感的可预测变化，支持因果推断。
• 生成的反事实图像展示了基于语义编辑的合理且可解释的吸引力变化。
• 美感学习框架的结果与现有的面部美学实证研究一致。
• 该框架提供了一种可扩展且可解释的方法，用于利用图像生成与人类反馈在感知领域实现因果发现。