[논문 리뷰] AI Blue Book: Vehicle Price Prediction using Visual Features

Richard R. Yang, Steven Chen외 1명|arXiv (Cornell University)|2018. 03. 29.

Energy, Environment, and Transportation Policies참고 문헌 13인용 수 10

한 줄 요약

이 논문은 새로운 자전거 및 자동차 데이터셋을 활용하여 이미지에서 차량 가격을 예측하는 딥러닝 모델을 제안한다. 전이 학습과 시각화 기법을 활용한 CNN을 사용하여 가격 예측에 기여하는 시각적 특징을 규명한다. 실험 결과, 맞춤형 CNN 모델이 선형 기반 모델보다 유의미하게 뛰어난 성능을 보이며, 프레임 디자인, 휠, 트림 등의 특징이 높은 가격과 강하게 연관되어 있음을 확인하였다.

ABSTRACT

In this work, we build a series of machine learning models to predict the price of a product given its image, and visualize the features that result in higher or lower price predictions. We collect two novel datasets of product images and their MSRP prices for this purpose: a bicycle dataset and a car dataset. We set baselines for price regression using linear regression on histogram of oriented gradients (HOG) and convolutional neural network (CNN) features, and a baseline for price segment classification using a multiclass SVM. For our main models, we train several deep CNNs using both transfer learning and our own architectures, for both regression and classification. We achieve strong results on both datasets, with deep CNNs significantly outperforming other models in a variety of metrics. Finally, we use several recently-developed methods to visualize the image features that result in higher or lower prices.

연구 동기 및 목표

• 단일 이미지에서 제품 가격을 예측하는 기계학습 모델을 개발하며, 자전거와 자동차와 같은 소비자 차량을 중심으로 한다.
• 학습 및 평가를 위한 고품질의 차량 이미지 데이터셋 2종(자전거 및 자동차)을 구축한다.
• 가격 예측에서 전통적인 방법(예: HOG 및 선형 회귀)과 비교하여 딥 컨volution 네트워크(CNN)의 성능을 평가한다.
• 선택적 가려짐, 시각화 지도 및 CAM 분석을 통해 예측 가격에 영향을 주는 이미지 영역과 특징을 시각화한다.
• 판매자가 제품 디자인과 촬영 기법이 소비자의 가치 인식과 가격에 어떤 영향을 미치는지에 대한 실질적인 통찰을 제공한다.

제안 방법

• 21,843장의 자전거 이미지와 1,400장의 자동차 이미지로 구성된 데이터셋을 수집 및 정제하였으며, 모든 이미지를 고정 배경을 가진 224×224 픽셀로 전처리하였다.
• 전이 학습(예: VGG-16)과 맞춤형 아키텍처(예: PriceNet)를 사용하여 회귀 및 분류 작업을 위한 딥 컨volution 네트워크를 훈련시켰다.
• 가격 예측을 위한 선형 회귀 기반 모델로 히스토GRAM 오리엔티드 기울기(HOG)와 주성분 분석(PCA)을 통한 감소된 CNN 특징을 사용하였다.
• 이산적 가격 구간을 사용한 다중 클래스 SVM을 사용하여 가격 세그먼트 분류를 수행하였으며, one-vs-one 전략을 적용하였다.
• 이미지 영역을 체계적으로 가리키며 예측 가격의 변화를 측정하는 방식으로 선택적 가려짐 기반 시각화 기법을 적용하였다.
• 입력 픽셀에 대한 예측 가격의 기울기를 계산하여, 영향력이 큰 이미지 영역을 강조하는 시각화 지도를 생성하였다.
• 기울기 가중치가 부여된 클래스 활성화 맵(Grad-CAM)을 적용하여 가격 범주 예측에 가장 기여하는 특징 맵을 시각화하였다.

실험 결과

연구 질문

• RQ1 기존 기계학습 기반 모델(예: HOG 및 선형 회귀)과 비교해 볼 때, 딥 컨volution 네트워크(CNN)는 단일 이미지에서 차량 가격을 얼마나 정확하게 예측할 수 있는가?
• RQ2 차량 이미지의 어떤 시각적 특징이 높거나 낮은 예측 가격과 가장 강하게 관련되어 있는가?
• RQ3 딥 러닝 모델은 다양한 시점과 이미지 시각적 관점에 대해 얼마나 일반화되는가?
• RQ4 선택적 가려짐 지도, 시각화 지도, Grad-CAM과 같은 시각화 기법은 예측 가격에 영향을 주는 이미지 영역을 효과적으로 드러내는가?
• RQ5 실제 차량 데이터셋에서 관찰되는 가격 분포(예: 지수적 누적분포함수)는 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 맞춤형 딥 컨볼루션 네트워크 아키텍처(예: PriceNet)가 전이 학습 기반 모델과 선형 회귀 기반 모델보다 가격 회귀 예측에서 유의미하게 떨어지지 않으며, 평균 절대 오차가 유의미하게 낮아 보였다.
• 전이 학습 기반 CNN 모델이 다중 클래스 SVM 및 선형 기반 모델보다 가격 분류 성능에서 뛰어난 성능을 보였다.
• 선택적 가려짐 분석 결과, 자전거 이미지에서 트레이닝 휠을 제거할 경우 예측 가격이 150달러 상승함을 확인하여, 이러한 특징이 고가 예측에 강력한 부정적 예측 요소임을 규명하였다.
• 시각화 지도 분석 결과, 자전거의 경우 시트, 핸들바, 브레이크, 휠 스폰지가 가장 영향력 있는 영역으로 나타났고, 자동차의 경우 브랜드 로고, 프레임 형태, 타이어가 가장 두드러진 특징으로 확인되었다.
• Grad-CAM 시각화 결과, 모델이 캐리브레이션 톱, 도어, 차체 윤곽과 같은 구조적이고 미적 요소에 집중하여 가격 범주를 예측하고 있음을 확인하였다.
• 모델는 시점 변화에 대해 관성 특성을 보이며, 동일한 자전거를 다양한 각도에서 촬영한 이미지에 대해 정확하게 분류함으로써 강력한 특징 학습 능력을 입증하였다.