[論文レビュー] The Price is Right: Predicting Prices with Product Images.

Steven Chen, Edward Chou+1 more|arXiv (Cornell University)|Mar 29, 2018

Market Dynamics and Volatility参考文献 12被引用数 4

ひとこと要約

本論文では、自転車および自動車のカスタムデータセットを用いて、画像からの製品価格予測を目的としたディーブラーニング手法を提案する。転移学習を用いたアンサンブルCNNモデルを採用し、価格予測に寄与する顕著な画像特徴を可視化することで、従来のHOGやSVMベースライン手法を上回る優れた性能を達成している。

ABSTRACT

In this work, we build an ensemble of machine learning models to predict the price of a product given its image, and visualize the features that result in higher or lower price predictions. We collect two novel datasets of product images and their MSRP prices for this purpose: a bicycle dataset and a car dataset. We set baselines for price regression using linear regression on histogram of oriented gradients (HOG) and convolutional neural network (CNN) features, and a baseline for price segment classification using a multiclass SVM. For our main models, we train several deep CNNs using both transfer learning and our own architectures, for both regression and classification. We achieve strong results on both datasets, with deep CNNs significantly outperforming other models in a variety of metrics. Finally, we use several recently-developed methods to visualize the image features that result in higher or lower prices.

研究の動機と目的

• 画像内の視覚的特徴から製品価格を予測する機械学習システムの開発を目的とする。
• 研究用に利用可能な、MSRP価格付きの新規製品画像データセット2つ（自転車および自動車）の収集と公開を目的とする。
• 価格予測において、HOG や SVM といった従来手法と比較するための深層学習モデルの評価を目的とする。
• 価格予測の高価・低価要因となる画像領域を可視化することで、モデルの意思決定を解釈可能にする。
• 複数の指標を用いて回帰および分類タスクの両方で性能を評価する。

提案手法

• 自転車および自動車の2つの新規データセットを収集し、それぞれに画像と対応するMSRP価格を含める。
• 回帰および分類タスクのベースライン入力として、方向勾配のヒストグラム（HOG）および事前学習済み畳み込みニューラルネットワーク（CNN）特徴を用いる。
• 転移学習およびカスタムアーキテクチャを用いて、回帰および価格セグメント分類の両方のタスクに適した複数の深層CNNを訓練する。
• 複数のCNNアーキテクチャの予測結果を統合することで、より高いロバスト性と正確性を実現するアンサンブルモデリングを採用する。
• 解釈可能性技術を適用し、価格予測に正の寄与または負の寄与をする画像領域を可視化する。
• 両方のデータセットにおいて、標準的な回帰および分類指標を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 画像からのみの入力で、深層CNNが従来の手作業特徴抽出手法（HOG）を上回る性能を示せるか？
• RQ2 異なるCNNアーキテクチャおよび学習戦略は、実世界の製品画像における価格予測精度にどのように影響するか？
• RQ3 製品画像内のどの視覚的特徴が、高価・低価予測に強く関連しているか？
• RQ4 転移学習およびカスタムCNN設計は、新規製品価格予測タスクにおいて性能をどの程度向上させるか？
• RQ5 価格予測において、深層学習モデルの予測結果はどの程度解釈可能か？

主な発見

• 深層CNNは、HOG特徴を用いた線形回帰モデルやマルチクラスSVMと比較して、回帰および分類タスクの両方で顕著に優れた性能を示した。
• 事前学習済みCNNを用いた転移学習は、価格予測において優れた性能を達成し、事前に学習された視覚表現の価値を示した。
• スクラッチから訓練したカスタムCNNアーキテクチャも高い性能を達成しており、ドメイン特化学習の有効性を示している。
• 可視化結果から、ブランドロゴ、車両のメーカー・モデル、製品の状態といった特徴が価格予測の主要因であることが明らかになった。
• 深層学習モデルのアンサンブルは、回帰および分類精度の両面で、自転車および自動車データセットにおいて最先端の性能を達成した。
• 解釈可能性手法により、ホイール、ヘッドランプ、フレームの詳細といった画像領域が価格変動と相関していることが明確に可視化された。