[論文レビュー] Well Googled is Half Done: Multimodal Forecasting of New Fashion Product Sales with Image-based Google Trends

Geri Skenderi, Christian Joppi+2 more|arXiv (Cornell University)|Sep 20, 2021

Forecasting Techniques and Applications参考文献 44被引用数 9

ひとこと要約

本稿では、画像特徴、製品メタデータ、および画像ベースのGoogleトレンドを外部信号として統合することで、新作ファッション商品の販売を予測する非自己回帰型Transformerモデル、GTM-Transformerを提案する。新規にリリースされたVISUELLEデータセットにおいて最先端の性能を達成し、特に発売前の7〜10か月の期間における人気トレンドの有効な統合により、WAPEを1.5%低減した。

ABSTRACT

New fashion product sales forecasting is a challenging problem that involves many business dynamics and cannot be solved by classical forecasting approaches. In this paper, we investigate the effectiveness of systematically probing exogenous knowledge in the form of Google Trends time series and combining it with multi-modal information related to a brand-new fashion item, in order to effectively forecast its sales despite the lack of past data. In particular, we propose a neural network-based approach, where an encoder learns a representation of the exogenous time series, while the decoder forecasts the sales based on the Google Trends encoding and the available visual and metadata information. Our model works in a non-autoregressive manner, avoiding the compounding effect of large first-step errors. As a second contribution, we present VISUELLE, a publicly available dataset for the task of new fashion product sales forecasting, containing multimodal information for 5577 real, new products sold between 2016-2019 from Nunalie, an Italian fast-fashion company. The dataset is equipped with images of products, metadata, related sales, and associated Google Trends. We use VISUELLE to compare our approach against state-of-the-art alternatives and several baselines, showing that our neural network-based approach is the most accurate in terms of both percentage and absolute error. It is worth noting that the addition of exogenous knowledge boosts the forecasting accuracy by 1.5% in terms of Weighted Absolute Percentage Error (WAPE), revealing the importance of exploiting informative external information. The code and dataset are both available at https://github.com/HumaticsLAB/GTM-Transformer.

研究の動機と目的

• 新規ファッション商品の販売を予測する課題に取り組む。この商品には歴史的データがない。
• マルチモーダル販売予測におけるGoogleトレンド時系列を外部信号として統合する有効性を調査する。
• 誤差の累積を回避する非自己回帰型のディープラーニングモデルを構築する。
• 新規ファッション商品販売予測のための公開ベンチマークデータセットVISUELLEを構築しリリースする。
• 最先端のベースラインおよび実際のビジネスポリシー（60%ルールなど）と比較して、モデルの性能を評価する。

提案手法

• GTM-Transformerモデルは、Googleトレンド、画像特徴、メタデータのそれぞれに別々のエンコーダーを備えたTransformerアーキテクチャを採用する。
• クロスアテンション機構を用いて、特に発売前の7〜10か月の期間における関連するGoogleトレンド時系列セグメントに動的に注目する。
• モデルは非自己回帰型であり、すべての将来ステップを一度に予測することで、最初のステップの誤差が累積するのを回避する。
• 画像特徴は事前学習済みモデルを用いて抽出され、Fashion IQ属性は画像から自動的に同定され、マルチモーダル入力を豊かにする。
• デコーダーは、エンコードされたGoogleトレンドとマルチモーダル特徴に注目することで、マルチヘッドアテンション機構を用いて販売予測を生成する。
• 予測精度を最適化するために、マスク付きマルチヘッド損失を用いてエンドツーエンドで学習する。

Figure 1: Sample images representing various product categories within the VISUELLE dataset.

実験結果

リサーチクエスチョン

• RQ1 製品属性から導出されたGoogleトレンド時系列は、新規ファッション商品の販売予測精度を顕著に向上させることができるか？
• RQ2 Googleトレンド信号の時間的位置（例：発売から数か月遅れ）が予測性能に与える影響は何か？
• RQ3 非自己回帰型Transformerアーキテクチャは、自己回帰型または従来の機械学習ベースラインと比較して、新製品販売予測においてどの程度優れているか？
• RQ4 画像ベースの特徴と自動的に同定された属性の統合は、予測性能の向上にどの程度効果的か？
• RQ5 提案されたモデルは、初回在庫計画における実際のビジネスポリシー（60%ルール）を上回ることができるか？

主な発見

• GTM-Transformerモデルは、比較対象のすべての手法の中で最低の加重絶対誤差率（WAPE）を達成し、ベースラインモデルと比較して1.5%の誤差低減を実現した。
• 最も有益なGoogleトレンド信号は、クロスアテンション機構におけるピーク注目重みが示すように、発売前の7〜10か月の期間に一貫して位置している。
• 外部信号としてのGoogleトレンドデータの追加により、予測精度が顕著に向上し、新製品シナリオにおける人気の事前知識の価値を示した。
• モデルは初週販売予測において60%ルールのビジネスポリシーを上回り、平均絶対誤差を313.6単位から262.3単位に低減した。
• GTM-Transformerを用いることで、初回在庫計画における金銭的差異は324万ドルにまで低減されたが、60%ポリシーでは392万ドルであった。これは実世界のビジネスインパクトを示している。
• 5,577件の新規ファッション商品を含み、画像、メタデータ、販売データ、Googleトレンドを備えたVISUELLEデータセットは、再現可能なベンチマークと今後のマルチモーダル販売予測研究を可能にする。

Figure 2: Cardinalities of the dataset for clothing categories (a), color (b) and fabric (c).