[论文解读] AI Blue Book: Vehicle Price Prediction using Visual Features

Richard R. Yang, Steven Chen+1 more|arXiv (Cornell University)|Mar 29, 2018

Energy, Environment, and Transportation Policies参考文献 13被引用 10

一句话总结

本文提出基于图像的深度学习模型，利用新型自行车和汽车数据集，通过迁移学习和可视化技术，使用卷积神经网络（CNN）预测车辆价格，并识别影响价格预测的关键视觉特征。结果表明，定制的CNN模型显著优于线性基线模型，且发现车架设计、车轮和装饰条等特征与更高价格密切相关。

ABSTRACT

In this work, we build a series of machine learning models to predict the price of a product given its image, and visualize the features that result in higher or lower price predictions. We collect two novel datasets of product images and their MSRP prices for this purpose: a bicycle dataset and a car dataset. We set baselines for price regression using linear regression on histogram of oriented gradients (HOG) and convolutional neural network (CNN) features, and a baseline for price segment classification using a multiclass SVM. For our main models, we train several deep CNNs using both transfer learning and our own architectures, for both regression and classification. We achieve strong results on both datasets, with deep CNNs significantly outperforming other models in a variety of metrics. Finally, we use several recently-developed methods to visualize the image features that result in higher or lower prices.

研究动机与目标

• 开发机器学习模型，仅通过单张图像预测产品价格，重点关注自行车和汽车等消费类车辆。
• 创建两个全新的、高质量的车辆图像数据集，配对MSRP价格，用于训练和评估。
• 比较深度CNN与传统方法（如HOG和线性回归）在价格预测中的性能表现。
• 使用显著性图、类激活映射（CAM）和遮挡分析等可视化技术，揭示影响价格预测的图像区域和特征。
• 为卖家提供可操作的见解，说明产品设计和摄影方式如何影响感知价值和定价。

提出的方法

• 收集并整理了包含21,843张图像的自行车数据集和1,400张图像的汽车数据集，所有图像均预处理为224×224像素，并保留纯色背景。
• 使用迁移学习（如VGG-16）和自定义网络架构（如PriceNet）训练深度CNN，用于回归和分类任务。
• 采用方向梯度直方图（HOG）和主成分分析（PCA）降维后的CNN特征作为线性回归基线，用于价格预测。
• 使用一对多策略的多分类支持向量机（SVM）进行价格区间分类，采用离散价格分箱。
• 通过系统性地遮挡图像区域并测量预测价格的变化，实施基于遮挡的可视化分析。
• 通过计算预测价格相对于输入像素的梯度，生成显著性图，以突出影响预测的关键图像区域。
• 应用梯度加权类激活映射（Grad-CAM）技术，可视化对价格类别预测贡献最大的特征图。

实验结果

研究问题

• RQ1 与传统机器学习基线（如HOG和线性回归）相比，深度CNN在从单张图像预测车辆价格方面表现如何？
• RQ2 车辆图像中的哪些视觉特征与更高或更低的预测价格相关性最强？
• RQ3 深度学习模型在不同视角和图像视角下具有多大程度的泛化能力？
• RQ4 遮挡图、显著性图和Grad-CAM等可视化技术能否有效揭示影响价格预测的图像区域？
• RQ5 现实世界车辆数据集中价格分布（如指数累积分布函数）如何影响模型性能和泛化能力？

主要发现

• 定制的深度CNN架构（如PriceNet）在价格回归任务中显著优于迁移学习和线性回归基线，实现了更低的平均绝对误差。
• 基于迁移学习的CNN在价格分类任务中表现优于多分类SVM和线性基线。
• 遮挡分析显示，从自行车图像中移除辅助轮会使预测价格上涨150美元，表明此类特征是高价的强负向预测因子。
• 显著性图显示，对自行车而言，影响最大的图像区域是座椅、车把、刹车和轮辐；对汽车而言，最显著的区域是车标、车身轮廓和轮胎。
• Grad-CAM可视化结果证实，模型在预测价格区间时聚焦于结构和美学上重要的特征，如敞篷顶棚、车门和车身轮廓。
• 模型对视角变化表现出不变性，能够从不同角度正确分类同一辆自行车，表明其具备稳健的特征学习能力。