[論文レビュー] Item Popularity Prediction in E-commerce Using Image Quality Feature Vectors

Stephen Zakrewsky, Kamelia Aryafar+1 more|arXiv (Cornell University)|May 12, 2016

Digital Marketing and Social Media参考文献 21被引用数 11

ひとこと要約

本稿では、Etsyにおけるeコマース商品の人気予測のためのマルチモーダルアプローチを提案している。商品の画像品質特徴量（ぼやけ具合、被写界 depth of field、テクスチャ、構図など）と、商品リストのテキスト特徴量を組み合わせた手法を採用している。ロジスティック回帰を用いた分析により、画像＋テキストのモデリングがテキストのみのモデルに比べAUCを3.45%向上させることを示しており、画像品質が人気予測の精度向上に顕著に寄与することを裏付けている。

ABSTRACT

Online retail is a visual experience- Shoppers often use images as first order information to decide if an item matches their personal style. Image characteristics such as color, simplicity, scene composition, texture, style, aesthetics and overall quality play a crucial role in making a purchase decision, clicking on or liking a product listing. In this paper we use a set of image features that indicate quality to predict product listing popularity on a major e-commerce website, Etsy. We first define listing popularity through search clicks, favoriting and purchase activity. Next, we infer listing quality from the pixel-level information of listed images as quality features. We then compare our findings to text-only models for popularity prediction. Our initial results indicate that a combined image and text modeling of product listings outperforms text-only models in popularity prediction.

研究の動機と目的

• Etsyのようなロングテール型プラットフォームにおける画像品質が商品の人気に与える影響を調査すること。
• 商品画像の美的および技術的側面を反映する手作業による画像品質特徴量のセットを構築すること。
• 画像品質特徴量とテキスト特徴量を組み合わせることで、テキストのみのモデルに比べて人気予測がどの程度向上するかを評価すること。
• eコマース文脈における画像品質メトリクスのための公開可能な特徴抽出パイプラインを提供すること。

提案手法

• 画像品質特徴量は、ラプラシアンピラミッドに基づくぼやけ具合と滑らかさの測定、MSERを用いたテキストおよびテクスチャ領域の検出、空間的エッジ分布解析といった、既存のコンピュータビジョン技術を組み合わせて抽出する。
• 本手法では、高周波数エネルギーの重心、ウェーブレットおよびラプラシアンに基づく滑らかさ、および画像領域内の局所分散を用いた被写界 depth of field の推定といった特徴を計算する。
• 単純性、ぼやけ具合、被写界 depth of field、三等分法則、SIFTベースのプーリングを用いたテクスチャ（5120次元）、および実験的特徴量（例：MSERの数）を連結することで、合計5152次元の画像品質特徴量ベクトルを構築する。
• テキスト特徴量は、リストのタイトルおよびタグからトークン化されたユニグラムおよびバイグラムとして抽出され、別々のモダリティとして扱われる。
• 各リストに対して、画像品質特徴量とテキスト特徴量を連結することで、マルチモーダル表現を構築する。
• 人気度はお気に入り数、クリック数、購入数の合計として定義され、ロジスティック回帰を用いて人気度を予測する。性能はテキストのみのベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 Etsyのようなeコマースプラットフォームにおいて、画像品質特徴量は商品の人気にどの程度寄与するか？
• RQ2 画像品質特徴量とテキスト特徴量を組み合わせたモデルは、テキストのみの特徴量を使用するモデルに比べて、人気予測においてどの程度優れているか？
• RQ3 ぼやけ具合、テクスチャ、構図といった特定の画像品質特徴量の中で、どれがリストの人気に最も顕著に寄与しているか？
• RQ4 画像とテキスト特徴量を統合するマルチモーダルモデルは、単一モーダルモデルに比べ、商品リストに対するユーザーの関与度を予測する際に優れているか？

主な発見

• マルチモーダルモデルに画像品質特徴量を組み込むことで、テキストのみのベースラインに比べAUCが3.45%向上し、人気予測の精度が顕著に向上することが示された。
• 画像のみのモデルは、テキストのみのベースラインに比べ1.07%のAUC向上を達成しており、画像品質特徴量自体が人気予測に予測価値を有することが示された。
• 特徴量セットは合計5152次元であり、そのうちテクスチャ特徴量が5120次元を占めており、品質評価においてテクスチャ分析の重要性が浮き彫りになった。
• ぼやけ具合、被写界 depth of field、高周波数エネルギーの空間的分布といった特徴量が、知覚的画像品質を効果的に捉えられることを本研究は検証した。
• 研究者は画像品質特徴抽出パイプラインを公開しており、eコマース分野における視覚的品質モデリング分野の再現可能性とさらなる研究を促進している。