[论文解读] Can deep learning help you find the perfect match?

Harm de Vries, Jason Yosinski|arXiv (Cornell University)|May 2, 2015

Evolutionary Psychology and Human Behavior参考文献 17被引用 3

一句话总结

本文研究了深度学习是否能够仅通过个人资料照片预测个体的约会偏好，采用预训练模型的迁移学习方法。研究发现，基于ImageNet训练的VGGNet提取的特征在包含9,364张Tinder照片的数据集中，预测喜欢/不喜欢的准确率达到68.1%，优于基于性别预测网络的特征，证明了尽管数据集存在局限性，使用深度特征进行个性化吸引力预测的可行性。

ABSTRACT

Is he/she my type or not? The answer to this question depends on the personal preferences of the one asking it. The individual process of obtaining a full answer may generally be difficult and time consuming, but often an approximate answer can be obtained simply by looking at a photo of the potential match. Such approximate answers based on visual cues can be produced in a fraction of a second, a phenomenon that has led to a series of recently successful dating apps in which users rate others positively or negatively using primarily a single photo. In this paper we explore using convolutional networks to create a model of an individual's personal preferences based on rated photos. This introduced task is difficult due to the large number of variations in profile pictures and the noise in attractiveness labels. Toward this task we collect a dataset comprised of $9364$ pictures and binary labels for each. We compare performance of convolutional models trained in three ways: first directly on the collected dataset, second with features transferred from a network trained to predict gender, and third with features transferred from a network trained on ImageNet. Our findings show that ImageNet features transfer best, producing a model that attains $68.1\%$ accuracy on the test set and is moderately successful at predicting matches.

研究动机与目标

• 探索深度学习模型是否能够仅基于个人资料照片预测个体的浪漫偏好。
• 通过利用迁移学习，解决个性化吸引力模型训练数据有限的挑战。
• 比较从ImageNet迁移学习与从类似个人资料图像上训练的性别预测模型迁移学习在吸引力预测中的有效性。
• 评估深度特征是否能够以一种在个体间具有泛化能力的方式，捕捉到如吸引力等细微且主观的偏好。

提出的方法

• 研究者收集并标注了9,364张来自Tinder的个人资料照片，依据单一个体的偏好打上二元的'喜欢'或'不喜欢'标签。
• 通过从FC7层提取4096维特征，并在顶部训练逻辑回归分类器，对在ImageNet上预训练的VGGNet进行微调。
• 同时在相同数据集上训练了一个性别预测CNN，并从其最后几层提取特征用于迁移学习。
• 通过冻结早期卷积层并仅微调性别网络和VGG网络的最后全连接层，应用迁移学习。
• 通过验证集性能调整超参数，使用L2正则化和早停法防止过拟合。
• 在保留的测试集上评估模型，以衡量其预测个人偏好的准确率。

实验结果

研究问题

• RQ1 深度卷积网络是否能有效利用有限标注数据，从个人资料照片中学习个性化吸引力偏好？
• RQ2 与在相关但不同任务（如性别预测）上训练的模型相比，从预训练的ImageNet模型迁移是否能带来更好的吸引力预测性能？
• RQ3 在个性化偏好建模的背景下，从语义上相距较远的数据集（如ImageNet）迁移的深度特征，与从密切相关数据集（如性别预测）迁移的性能相比如何？
• RQ4 深度特征在多大程度上能够从单张图像中捕捉到主观的、类人般的吸引力判断？

主要发现

• 使用预训练VGGNet提取的特征，模型在测试集上达到最高的68.1%准确率，显著优于基于性别预测网络的迁移方法。
• 当微调最后两层时，从性别预测网络迁移仅获得61.3%的准确率，表明该任务中迁移能力较差。
• ImageNet特征表现出强大的泛化能力，验证准确率达到66.9%，覆盖了从随机猜测（50%）到人类水平准确率（88%）之间约一半的性能差距。
• 仅微调性别网络的最后1层时，性能表现极差，训练误差高且存在显著欠拟合。
• 数据集相对平衡（53%喜欢，47%不喜欢），表明Tinder算法可能偏向热门资料，存在潜在采样偏差。
• 本研究强调，即使数据有限，预训练的ImageNet特征也能为建模如吸引力等主观偏好提供强有力的归纳偏置。