[論文レビュー] AI Blue Book: Vehicle Price Prediction using Visual Features

Richard R. Yang, Steven Chen+1 more|arXiv (Cornell University)|Mar 29, 2018

Energy, Environment, and Transportation Policies参考文献 13被引用数 10

ひとこと要約

本稿では、独自の自転車および自動車データセットを用いて、転移学習と可視化技術を活用した畳み込みニューラルネットワーク（CNN）を用いて、画像から車両の価格を予測する深層学習モデルを提案する。実験の結果、カスタムCNNは線形ベースラインを著しく上回り、フレーム設計、ホイール、トリムなどの特徴が高価格と強く相関していることが明らかになった。

ABSTRACT

In this work, we build a series of machine learning models to predict the price of a product given its image, and visualize the features that result in higher or lower price predictions. We collect two novel datasets of product images and their MSRP prices for this purpose: a bicycle dataset and a car dataset. We set baselines for price regression using linear regression on histogram of oriented gradients (HOG) and convolutional neural network (CNN) features, and a baseline for price segment classification using a multiclass SVM. For our main models, we train several deep CNNs using both transfer learning and our own architectures, for both regression and classification. We achieve strong results on both datasets, with deep CNNs significantly outperforming other models in a variety of metrics. Finally, we use several recently-developed methods to visualize the image features that result in higher or lower prices.

研究の動機と目的

• 単一の画像から製品の価格を予測する機械学習モデルを開発すること。特に自転車や自動車などの消費者向け車両を対象とする。
• トレーニングおよび評価用に使用する、高品質な2つの新規の車両画像データセット（自転車と自動車）を構築すること。
• 価格予測において、深層CNNと従来の手法（HOGや線形回帰）を比較すること。
• サリエンシー・マップ、CAM、およびオクルージョン解析を用いて、価格予測に寄与する画像領域や特徴を可視化すること。
• 販売者が製品デザインや写真撮影の工夫が価格認識にどのように影響するかを示す実用的インサイトを提供すること。

提案手法

• 21,843枚の自転車画像と1,400枚の自動車画像から成る自転車データセットと自動車データセットを収集・整備し、すべての画像を背景が均一な224×224ピクセルにリサイズした。
• 転移学習（例：VGG-16）およびカスタムアーキテクチャ（例：PriceNet）を用いて、回帰および分類タスクの両方において深層CNNを訓練した。
• 価格予測のベースラインとして、方向勾配のヒストグラム（HOG）およびPCAで次元削減されたCNN特徴量を用いた線形回帰を採用した。
• 離散的な価格帯（ビン）を用いて、1対1の戦略を採用した多値分類SVMを用いて価格セグメント分類を実施した。
• 画像領域を体系的にマスクすることでオクルージョンに基づく可視化を実施し、予測価格の変化を測定した。
• 入力ピクセルに対する予測価格の勾配を計算することで、影響力の高い画像領域を強調するサリエンシー・マップを生成した。
• 勾配加重クラス活性化マッピング（Grad-CAM）を適用し、価格クラス予測に最も寄与する特徴マップを可視化した。

実験結果

リサーチクエスチョン

• RQ1 従来の機械学習ベースライン（HOGや線形回帰）と比較して、深層CNNは単一の画像から車両の価格をどれほど正確に予測できるか？
• RQ2 車両画像におけるどの視覚的特徴が、高価格または低価格の予測と最も強く相関しているか？
• RQ3 深層学習モデルは、異なる視点や画像のアングルに対してどの程度一般化性能を示すか？
• RQ4 オクルージョンマップ、サリエンシー・マップ、Grad-CAMなどの可視化技術は、価格予測に寄与する画像領域を効果的に特定できるか？
• RQ5 実世界の車両データセットにおける価格分布（例：指数関数的CDF）は、モデルの性能および一般化能力にどのように影響を与えるか？

主な発見

• カスタム深層CNNアーキテクチャ（例：PriceNet）は、転移学習ベースのモデルや線形回帰ベースラインを上回り、平均絶対誤差が著しく低い結果を達成した。
• 転移学習ベースのCNNは、多値分類SVMや線形ベースラインと比較して、価格分類タスクで優れた性能を示した。
• オクルージョン解析の結果、自転車の画像からトレーニングホイールを除去すると予測価格が150ドル上昇し、この特徴が高価格の強い負の予測要因であることが示された。
• サリエンシー・マップでは、自転車の場合は座席、ハンドル、ブレーキ、ホイールスポークが最も影響力の高い領域であり、自動車の場合はロゴ、フレーム形状、タイヤが顕著に強調された。
• Grad-CAMの可視化結果から、モデルがコン vertibleトップ、ドア、ボディの輪郭といった構造的・美的に重要な特徴に注目して価格帯を予測していることが確認された。
• モデルは視点の変化に対して不変性を示し、異なる角度から撮影された同じ自転車を正しく分類できた。これは、強固な特徴学習が行われていることを示している。