[論文レビュー] Styling with Attention to Details

Ayushi Dalmia, Sachindra Joshi+2 more|arXiv (Cornell University)|Jul 3, 2018

Recommender Systems and Techniques参考文献 5被引用数 3

ひとこと要約

この論文では、ユーザーが生成したソーシャルメディアコンテンツを基に、スタイリッシュで補完的なファッションアイテムを推薦するための、アテンション機構を備えたシーケンス・ツー・シーケンスモデルを提案する。ファッション投稿のいいねやコメントを活用することで、モデルはスタイルの関係性を学習し、リtrievalタスクにおいてベースライン手法よりもトップ1の正確度で28%、平均逆順位（MRR）で24%の向上を達成した。

ABSTRACT

Fashion as characterized by its nature, is driven by style. In this paper, we propose a method that takes into account the style information to complete a given set of selected fashion items with a complementary fashion item. Complementary items are those items that can be worn along with the selected items according to the style. Addressing this problem facilitates in automatically generating stylish fashion ensembles leading to a richer shopping experience for users. Recently, there has been a surge of online social websites where fashion enthusiasts post the outfit of the day and other users can like and comment on them. These posts contain a gold-mine of information about style. In this paper, we exploit these posts to train a deep neural network which captures style in an automated manner. We pose the problem of predicting complementary fashion items as a sequence to sequence problem where the input is the selected set of fashion items and the output is a complementary fashion item based on the style information learned by the model. We use the encoder decoder architecture to solve this problem of completing the set of fashion items. We evaluate the goodness of the proposed model through a variety of experiments. We empirically observe that our proposed model outperforms competitive baseline like apriori algorithm by ~28 in terms of accuracy for top-1 recommendation to complete the fashion ensemble. We also perform retrieval based experiments to understand the ability of the model to learn style and rank the complementary fashion items and find that using attention in our encoder decoder model helps in improving the mean reciprocal rank by ~24. Qualitatively we find the complementary fashion items generated by our proposed model are richer than the apriori algorithm.

研究の動機と目的

• 単なる共起性や類似性に基づく推薦を越えて、ユーザーのスタイルに合致する補完的なファッションアイテムを推薦する課題に対処すること。
• Polyvore や Chictopia などのソーシャルメディアプラットフォームからのデータを用いて、主観的で変化し続けるファッションスタイルの性質をモデル化すること。
• 複雑な属性レベルの相互作用（例：色、柄）を捉えることのできる、データ駆動型で一般化可能な手法を構築すること。
• エンコーダ・デコーダアーキテクチャにアテンション機構を組み込むことで、推薦の正確性と順位付けの質を向上させること。
• 静的な購入履歴にとどまらず、ソーシャルメディアからのリアルタイムでユーザーが生成するスタイル信号を活用し、動的なスタイルモデリングを実現すること。

提案手法

• ファッションコンプリートタスクを、入力がファッションアイテムの集合で出力が補完的アイテムであるシーケンス・ツー・シーケンス問題として定式化する。
• ソーシャルメディア投稿からの文脈的表現を学習するため、深層ニューラルネットワークを用いたエンコーダ・デコーダアーキテクチャを採用する。
• 予測時に入力ファッションセットの関連する特徴に動的に注目できるように、デコーダーにアテンション機構を導入する。
• テキスト記述の解析結果を訓練データとして用い、いいねやコメントといったソーシャル信号を暗黙のスタイル指標として活用する。
• ファッション分類体系と属性レベルの特徴（色、柄、タイプ）を活用して、入力表現を豊かにし、一般化性能を向上させる。
• シーケンス生成のための交差エントロピー損失を最適化し、平均逆順位（MRR）などのリtrieval性能指標に基づいたファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 いいねやコメントといったソーシャルメディア信号は、主観的で変化するファッションスタイルを効果的にモデル化するために有効に利用できるか？
• RQ2 アテンション機構を備えたシーケンス・ツー・シーケンスモデルは、従来のルールベースやアソシエーションベースの手法と比較して、スタイリッシュに整合性のある補完的ファッションアイテムをどれほどうまく生成できるか？
• RQ3 アテンション機構は、リtrieval設定において、推薦アイテムの順位付けの質をどの程度向上させるか？
• RQ4 手作業でルールを定義したり、キュレートされたスタイルデータセットに依存せずに、深層学習モデルが多様なファッションコンプリートに一般化できるか？
• RQ5 トップ1の正確度とリtrieval効果性の観点から、aprioriアルゴリズムなどのベースラインと比較して、モデルはどの程度の性能を示すか？

主な発見

• アテンション機構を備えた提案されたシーケンス・ツー・シーケンスモデルは、aprioriアルゴリズムよりもトップ1の推薦正確度で28%の向上を達成した。
• アテンション機構により、リtrieval評価において平均逆順位（MRR）が約24%向上し、関連するアイテムの順位付けが改善された。
• 定性的な分析から、aprioriベースラインと比較して、モデルはより多様でスタイリッシュに洗練された補完的ファッションアイテムを生成していることが示された。
• モデルは、構造化されていないソーシャルメディアのテキストから、色や柄の適合性といった複雑なスタイル関係性を効果的に捉えている。
• ソーシャル信号の活用により、従来の購入ベースの手法に見られる陳腐化の問題を回避し、最新で最新のスタイルトレンドを学習している。
• モデルは多様なファッションコンプリートにわたって一般化がうまくいっており、珍しいまたは複雑な組み合わせに対しても、関連性のある推薦を安定して生成するという、強固な性能を示している。