[論文レビュー] A Review of Modern Fashion Recommender Systems

Yashar Deldjoo, Fatemeh Nazary+5 more|arXiv (Cornell University)|Feb 6, 2022

Fashion and Cultural Textiles被引用数 7

ひとこと要約

本サーベイは、現代のファッションレコメンデーションシステムの包括的レビューを提供し、目的（例：オシャレなコーディネートの推薦、サイズ予測）と補助情報タイプ（ユーザー、アイテム、文脈）に基づいて研究を分類する。主な課題を特定し、主要なデータセットと評価指標を評価し、マルチモーダル学習、因果推論、生成AIおよび大規模言語モデル（LLMs）との統合を含む今後の方向性を提示する。

ABSTRACT

The textile and apparel industries have grown tremendously over the last few years. Customers no longer have to visit many stores, stand in long queues, or try on garments in dressing rooms as millions of products are now available in online catalogs. However, given the plethora of options available, an effective recommendation system is necessary to properly sort, order, and communicate relevant product material or information to users. Effective fashion RS can have a noticeable impact on billions of customers' shopping experiences and increase sales and revenues on the provider side. The goal of this survey is to provide a review of recommender systems that operate in the specific vertical domain of garment and fashion products. We have identified the most pressing challenges in fashion RS research and created a taxonomy that categorizes the literature according to the objective they are trying to accomplish (e.g., item or outfit recommendation, size recommendation, explainability, among others) and type of side-information (users, items, context). We have also identified the most important evaluation goals and perspectives (outfit generation, outfit recommendation, pairing recommendation, and fill-in-the-blank outfit compatibility prediction) and the most commonly used datasets and evaluation metrics.

研究の動機と目的

• 高頻度の製品入れ替えと限られた製品説明による影響を受ける、データスパarsity、コールドスタート、フィット感予測といったファッションレコメンデーションシステムにおける特有の課題に対処すること。
• 目的（例：アイテム、オシャレなコーディネート、サイズ、説明可能性）と補助情報タイプ（ユーザー、アイテム、文脈）に基づいて、ファッションRS研究の構造的分類を提供すること。
• ファッション推薦研究で最も広く使われているデータセット、評価指標、ベンチマーク手法を特定・評価すること。
• マルチモーダル表現、因果推論、生成AIおよび大規模言語モデル（LLMs）との統合を含む、新たな研究分野を強調すること。
• 研究者および実務家が現在の最先端技術を理解し、ファッションレコメンデーションシステムにおける未解決問題を特定できるように支援すること。

提案手法

• 本論文は、ファッションレコメンデーションシステムに関する体系的文献レビューを実施し、2つの軸に沿って既存の研究を分類する：(1) レコメンデーションの目的（例：オシャレなコーディネートの推薦、ペアリング、穴埋め形式の適合性予測）と (2) 補助情報タイプ（ユーザー、アイテム、文脈）。
• コンピュータビジョン、自然言語処理、レコメンデーションシステム分野の150件以上の研究から得られた知見を統合し、ファッションRSの進化をマッピングする。視覚的およびマルチモーダル表現の強調が特徴である。
• 主なベンチマークデータセット（例：DeepFashion、Dress Code、Polyvore）および評価指標（例：正確度、適合率、再現率、カバレッジ）を分析・比較し、オシャレなコーディネートおよびアイテム推薦タスクでの使用状況を検証する。
• 特にCLIPやDALL-Eのようなビジョン・ランゲージモデルや拡散モデルが、ファッション表現学習の向上および多様で適合性のあるコーディネート提案の生成に果たす役割を評価する。
• 少数の例（few-shot）およびゼロショット（zero-shot）推薦のためのLLMsおよび生成AIとの統合を検討し、プロンプト工学を活用してデータスパarsityとコールドスタート問題に対処する。
• バーチャルトライオンやARベースのシステムの可能性について検討し、信頼性とパーソナライズ性を高めるために因果モデルおよび解釈可能性の高いモデルの必要性を提示する。

Figure 1. (a) Personalized visual explanation by Chen et al . ( 2019a ) related to region of the fashion image based on user reviews; (b) Explainable outfit recommendation by Lin et al . ( 2020b ) using a neural attentive model; (c) outfit recommendation by Tangseng and Okatani ( 2020a ) , and (d) f

実験結果

リサーチクエスチョン

• RQ1 ファッションレコメンデーションシステム研究を分類するために用いられる主な目的と補助情報タイプは何か？
• RQ2 ファッション推薦研究で最も一般的に使われているデータセットと評価指標は何か？また、それらはどのようなレコメンデーションタスクを支援しているか？
• RQ3 マルチモーダルおよびクロスモーダル表現（例：テキスト・イメージモデル）は、ファッションアイテムおよびオシャレなコーディネートの表現学習をどのように改善できるか？
• RQ4 生成AIおよび大規模言語モデル（LLMs）は、ファッション推薦におけるデータスパarsityおよびコールドスタート問題をどのように緩和できるか？
• RQ5 因果的で解釈可能かつインタラクティブなファッションレコメンデーションシステムを構築するにあたり、主な課題と今後の研究方向性は何か？

主な発見

• 最も一般的なレコメンデーションの目的は、オシャレなコーディネートの推薦、ペアリング推薦、穴埋め形式の適合性予測であり、オシャレなコーディネート生成は主要なベンチマークタスクである。
• DeepFashion や Polyvore といったデータセットが広く使われており、正確度や適合率といった評価指標が一般的に報告されているが、カバレッジや多様性は軽視されている。
• CLIP や ALBEF といったマルチモーダルモデルは、ウェブスケールの弱いペアリングされたテキストと画像データを活用することで、高価なアノテーションに依存しないゼロショットファッション理解を可能にし、スパarsityを軽減する。
• DALL-E や Stable Diffusion といった生成モデルは、テキストからリアルなファッション画像を生成でき、新しいレコメンデーションインターフェースやパーソナライズドなコーディネート生成を可能にする。
• 大規模言語モデル（LLMs）は、特にプロンプト工学を用いて適合性やスタイルの好みを推論することで、少数の例やゼロショットファッション推薦において強力な可能性を示している。
• 因果モデルと解釈可能性はまだ十分に発展していないが、フィット感予測やスタイル適合性意思決定において信頼性の高いシステムを構築する上で不可欠である。

Figure 2. Color extraction example from probabilistic color modelling of clothing items. Courtesy of (Al-Rawi and Beel, 2021 ) .