[논문 리뷰] Item Popularity Prediction in E-commerce Using Image Quality Feature Vectors

Stephen Zakrewsky, Kamelia Aryafar외 1명|arXiv (Cornell University)|2016. 05. 12.

Digital Marketing and Social Media참고 문헌 21인용 수 11

한 줄 요약

이 논문은 이트리(Etsy)에서의 전자상거래 상품 인기 예측을 위해 수작업으로 제작한 이미지 품질 특징(예: 흐림, 초점 깊이, 질감, 구성)과 상품 설명의 텍스트 특징을 결합한 다중모달 접근법을 제안한다. 로지스틱 회귀를 사용하여, 이미지+텍스트 모델링이 텍스트 전용 모델 대비 AUC를 3.45% 향상시킴을 보여주며, 이미지 품질이 인기 예측 정확도에 상당한 기여를 한다는 것을 입증한다.

ABSTRACT

Online retail is a visual experience- Shoppers often use images as first order information to decide if an item matches their personal style. Image characteristics such as color, simplicity, scene composition, texture, style, aesthetics and overall quality play a crucial role in making a purchase decision, clicking on or liking a product listing. In this paper we use a set of image features that indicate quality to predict product listing popularity on a major e-commerce website, Etsy. We first define listing popularity through search clicks, favoriting and purchase activity. Next, we infer listing quality from the pixel-level information of listed images as quality features. We then compare our findings to text-only models for popularity prediction. Our initial results indicate that a combined image and text modeling of product listings outperforms text-only models in popularity prediction.

연구 동기 및 목표

• 장기 꼬리 플랫폼인 이트리와 같은 전자상거래 플랫폼에서 이미지 품질이 상품 인기에 미치는 영향을 조사하기 위해.
• 제품 이미지의 미적 및 기술적 특성을 반영하는 수작업으로 구성된 이미지 품질 특징 세트를 개발하기 위해.
• 텍스트 특징과 이미지 품질 특징을 결합할 경우 텍스트 전용 모델 대비 인기 예측 성능 향상 여부를 평가하기 위해.
• 전자상거래 환경에서 이미지 품질 지표를 위한 공개 가능한 특징 추출 파이프라인을 제공하기 위해.

제안 방법

• 이미지 품질 특징은 라플라시안 피라미드 기반 흐림 및 매끄러움 측정, MSER를 이용한 텍스트 및 질감 영역 탐지, 공간적 에지 분포 분석 등 기존 컴퓨터 비전 기법의 조합을 통해 추출된다.
• 이 방법은 고주파 에너지의 질량중심, 웨이블릿 및 라플라시안 기반 매끄러움, 국소 영역의 분산을 이용한 초점 깊이 추정 등의 특징을 계산한다.
• 간단함, 흐림, 초점 깊이, 삼분할 규칙, 질감(스피프트 기반 풀링을 통한), 실험적 특징(예: MSER 개수) 등을 연결하여 총 5152차원의 이미지 품질 특징 벡터를 구성한다.
• 텍스트 특징은 상품 제목과 태그에서 토큰화된 유니그램 및 바이그램으로 추출되어 별도의 모odal로 취급된다.
• 각 상품 목록에 대해 이미지 품질 특징과 텍스트 특징을 연결하여 다중모달 표현을 생성한다.
• 인기는 좋아요 수, 클릭 수, 구매 수의 합으로 정의되며, 로지스틱 회귀를 사용해 인기를 예측하고, 성능을 텍스트 전용 기준과 비교한다.

실험 결과

연구 질문

• RQ1 이트리와 같은 전자상거래 플랫폼에서 이미지 품질 특징이 상품 인기 예측에 얼마나 기여하는가?
• RQ2 텍스트 특징과 이미지 품질 특징을 결합할 경우 텍스트 전용 특징 대비 인기 예측 성능는 어떻게 비교되는가?
• RQ3 흐림, 질감, 구성과 같은 특정 이미지 품질 특징 중 어느 것이 상품 인기 예측에 가장 크게 기여하는가?
• RQ4 이미지와 텍스트 특징을 융합하는 다중모달 모델이 단일모달 모델 대비 사용자 상품 목록 참여도 예측 성능를 뛰어넘을 수 있는가?

주요 결과

• 다중모달 모델에 이미지 품질 특징을 포함시킬 경우 텍스트 전용 기준 대비 AUC가 3.45% 향상되어 인기 예측 정확도 향상이 뚜렷하게 입증된다.
• 이미지 전용 모델은 텍스트 전용 기준 대비 1.07% AUC 향상을 기록하여, 이미지 품질 특징 자체가 인기 예측에 유의미한 예측 가치를 지닌다는 것을 시사한다.
• 특징 세트는 총 5152차원이며, 이 중 질감 특징이 5120차원을 차지하여 품질 평가에서 질감 분석의 중요성을 강조한다.
• 흐림, 초점 깊이, 고주파 에너지의 공간 분포와 같은 특징이 인지적 이미지 품질을 효과적으로 캡처할 수 있음을 연구에서 검증하였다.
• 저자들은 이미지 품질 특징 추출 파이프라인을 공개하여 재현 가능성 및 전자상거래 시각 품질 모델링 분야의 향후 연구를 지원한다.