[论文解读] Exploring Alignment of Representations with Human Perception

Vedant Nanda, Ayan Majumdar+5 more|arXiv (Cornell University)|Nov 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 2

一句话总结

本文提出通过测量机器学习模型的表征与人类感知之间的对齐程度来评估其性能，方法是利用表征反演生成与人类感知相似的输入，并通过人类调查量化相似性。其主要贡献在于提出了一种感知对齐度量指标，可揭示模型可信度以及训练范式、损失函数和数据增强对人类表征学习的影响。

ABSTRACT

We argue that a valuable perspective on when a model learns extit{good} representations is that inputs that are mapped to similar representations by the model should be perceived similarly by humans. We use extit{representation inversion} to generate multiple inputs that map to the same model representation, then quantify the perceptual similarity of these inputs via human surveys. Our approach yields a measure of the extent to which a model is aligned with human perception. Using this measure of alignment, we evaluate models trained with various learning paradigms (\eg~supervised and self-supervised learning) and different training losses (standard and robust training). Our results suggest that the alignment of representations with human perception provides useful additional insights into the qualities of a model. For example, we find that alignment with human perception can be used as a measure of trust in a model's prediction on inputs where different models have conflicting outputs. We also find that various properties of a model like its architecture, training paradigm, training loss, and data augmentation play a significant role in learning representations that are aligned with human perception.

研究动机与目标

• 评估机器学习模型学习的表征在多大程度上与人类感知对齐。
• 解决现有评估方法仅依赖标准准确率或损失指标而忽略表征质量的不足。
• 研究不同训练范式和损失函数对感知对齐的影响。
• 为模型在模糊或冲突预测情况下的可信度提供以人类为中心的评估指标。

提出的方法

• 使用表征反演生成多个映射到同一模型表征的输入。
• 通过人类感知调查测量这些反演输入在人类眼中的相似性。
• 将感知对齐度量定义为人类标注的反演输入对之间相似度得分的平均值。
• 评估采用监督学习、自监督学习、标准训练和鲁棒学习目标训练的多种模型。
• 分析模型架构、训练损失、数据增强和学习范式对感知对齐的影响。
• 将所得的对齐得分用作模型表征与人类相似程度的代理指标。

实验结果

研究问题

• RQ1 当人类感知到输入相似时，模型表征在多大程度上将这些输入映射为相似的表征？
• RQ2 训练范式的选择（如监督学习与自监督学习）在多大程度上影响模型表征的感知对齐？
• RQ3 不同训练损失（标准损失与鲁棒损失）在多大程度上影响模型表征的感知一致性？
• RQ4 感知对齐能否作为模型在预测冲突情况下可信度的可靠指标？
• RQ5 数据增强和模型架构在多大程度上影响了与人类感知对齐的表征形成？

主要发现

• 与标准监督学习训练的模型相比，采用自监督学习训练的模型表现出更高的感知对齐度。
• 与标准训练相比，鲁棒训练使模型表征与人类感知的对齐度更高。
• 在多个模型产生冲突预测的情况下，感知对齐度可作为可信度的信号。
• 数据增强和模型架构显著影响学习到的表征的感知对齐程度。
• 感知对齐度量指标揭示了标准评估指标无法捕捉到的表征的定性差异。