[논문 리뷰] The Price is Right: Predicting Prices with Product Images.

Steven Chen, Edward Chou외 1명|arXiv (Cornell University)|2018. 03. 29.

Market Dynamics and Volatility참고 문헌 12인용 수 4

한 줄 요약

이 논문은 자전거와 자동차의 고유한 데이터셋을 사용하여 이미지에서 제품 가격을 예측하기 위한 딥러닝 접근법을 제안한다. 전이 학습을 활용한 앙상블 CNN 모델을 적용하고, 가격 예측에 영향을 주는 주요 이미지 특징을 시각화하여 기존의 HOG 및 SVM 기반 모델보다 뛰어난 성능을 달성한다.

ABSTRACT

In this work, we build an ensemble of machine learning models to predict the price of a product given its image, and visualize the features that result in higher or lower price predictions. We collect two novel datasets of product images and their MSRP prices for this purpose: a bicycle dataset and a car dataset. We set baselines for price regression using linear regression on histogram of oriented gradients (HOG) and convolutional neural network (CNN) features, and a baseline for price segment classification using a multiclass SVM. For our main models, we train several deep CNNs using both transfer learning and our own architectures, for both regression and classification. We achieve strong results on both datasets, with deep CNNs significantly outperforming other models in a variety of metrics. Finally, we use several recently-developed methods to visualize the image features that result in higher or lower prices.

연구 동기 및 목표

• 이미지의 시각적 특징을 기반으로 제품 가격을 예측할 수 있는 기계학습 시스템을 개발하는 것.
• 연구를 위해 사용할 수 있도록, MSRP 가격이 함께 제공된 신규의 제품 이미지 데이터셋 두 개를 수집하고 공개하는 것.
• 가격 예측에 대해 전통적인 방법(예: HOG 및 SVM)과 딥러닝 모델을 비교하는 것.
• 가격 예측에서 높거나 낮은 예측에 기여하는 영역을 시각화하여 모델의 결정을 해석하는 것.
• 다양한 지표를 사용하여 회귀 및 분류 과제에서의 성능을 평가하는 것.

제안 방법

• 자전거와 자동차 각각에 대해 이미지와 해당 MSRP 가격을 포함한 두 개의 새로운 데이터셋을 수집한다.
• 회귀 및 분류 과제의 기준 모델로 히스토그램 방향성 기울기(HOG) 및 사전 훈련된 컨볼루션 신경망(CNN) 특징을 사용한다.
• 가격 회귀 및 가격 세그먼트 분류 과제를 위해 전이 학습 및 자체 설계한 아키텍처를 사용한 다수의 딥 컨볼루션 신경망을 훈련한다.
• 다양한 CNN 아키텍처의 예측을 조합하여 더 높은 정확도와 강건성을 확보하기 위해 앙상블 모델링 기법을 적용한다.
• 이해 가능성 기법을 사용하여 가격 예측에 긍정적 또는 부정적으로 기여하는 이미지 영역을 시각화한다.
• 두 데이터셋에서 표준 회귀 및 분류 지표를 사용하여 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망은 단지 이미지에서만 제품 가격을 효과적으로 예측할 수 있는가? 기존의 수작업 특징(HOG)보다 성능이 뛰어나다?
• RQ2 다양한 CNN 아키텍처와 훈련 전략은 실생활 제품 이미지에서의 가격 예측 정확도에 어떤 영향을 미치는가?
• RQ3 제품 이미지에서 어떤 시각적 특징이 높거나 낮은 가격 예측과 가장 강하게 연관되어 있는가?
• RQ4 전이 학습과 자체 설계한 CNN 설계는 새로운 제품 가격 예측 과제에서 성능을 얼마나 향상시키는가?
• RQ5 딥러닝 모델이 가격 예측을 수행할 때 예측 결과는 얼마나 이해 가능할 수 있는가?

주요 결과

• 딥 컨볼루션 신경망은 HOG 특징을 기반으로 한 선형 회귀 모델과 다중 클래스 SVM 모델과 비교해, 회귀 및 분류 과제 모두에서 뚜렷한 성능 향상을 보였다.
• 사전 훈련된 CNN을 사용한 전이 학습은 뛰어난 성능을 달성하여, 사전에 확보된 시각적 표현이 가격 예측에 매우 유용함을 입증했다.
• 초기 단계에서부터 훈련된 자체 설계한 CNN 아키텍처 역시 높은 성능을 달성하여, 도메인 특화 학습이 효과적임을 시사했다.
• 시각화 결과, 브랜드 로고, 차량 제조사/모델명, 제품 상태 등의 특징이 가격 예측의 주요 결정 요소로 작용하는 것으로 나타났다.
• 딥러닝 모델의 앙상블는 자전거 및 자동차 데이터셋 양쪽에서 회귀 및 분류 정확도 측면에서 최신 기술 수준의 성능을 달성했다.
• 해석 가능성 기법은 휠, 헤드라이트 또는 프레임 디테일과 같은 이미지 영역을 성공적으로 강조하여 가격 변동과의 상관관계를 보여주었다.