[論文レビュー] StreetStyle: Exploring world-wide clothing styles from millions of photos

Kevin Matzen, Kavita Bala+1 more|arXiv (Cornell University)|Jun 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 41

ひとこと要約

本論文では、1500万枚のInstagram写真から衣類の属性とスタイル埋め込みを抽出することで、世界的なファッショントレンドを分析するためのディープラーニングフレームワークを提案する。新規のデータセットStreetStyle-27kを用いて、視覚的スタイルのスケールアップされた非教師ありクラスタリングを可能にし、ナイジェリアのゲレやボゴタでのFIFAワールドカップ記念のジャージなど、地域固有のファッションや時間的トレンドを明らかにする。

ABSTRACT

Each day billions of photographs are uploaded to photo-sharing services and social media platforms. These images are packed with information about how people live around the world. In this paper we exploit this rich trove of data to understand fashion and style trends worldwide. We present a framework for visual discovery at scale, analyzing clothing and fashion across millions of images of people around the world and spanning several years. We introduce a large-scale dataset of photos of people annotated with clothing attributes, and use this dataset to train attribute classifiers via deep learning. We also present a method for discovering visually consistent style clusters that capture useful visual correlations in this massive dataset. Using these tools, we analyze millions of photos to derive visual insight, producing a first-of-its-kind analysis of global and per-city fashion choices and spatio-temporal trends.

研究の動機と目的

• 非構造的なソーシャルメディア画像から大規模な視覚的ファッショントレンドの発見を可能にする。
• ディープラーニングとクラスタリングを用いて、スケールアップした衣類スタイルの測定を可能にする機械学習フレームワークを開発する。
• 都市や季節ごとの衣類選択における地理的空間的および時間的パターンを分析する。
• ファッション属性認識のための27,000枚のアノテーション付き画像を含む、公開可能なデータセットStreetStyle-27kを作成する。
• 特定の都市や地域に特徴的な衣類スタイルの独自性を視覚的に明らかにするインサイトを生成する。

提案手法

• 12個の衣類属性を1枚の画像に対して予測するため、StreetStyle-27kデータセット上で畳み込みニューラルネットワーク（CNN）を訓練する。
• CNN特徴を用いて視覚的埋め込み空間を学習し、高次元空間における衣類スタイルを表現する。
• 非教師ありクラスタリング（例：ガウス混合モデル）を適用して、埋め込み空間から視覚的に一貫性のあるスタイルクラスタを発見する。
• 空間的・時間的統計を用いて、季節的またはイベント駆動のファッションに特化したクラスタを同定する。
• 各クラスタから得られる平均画像を用いて、解釈可能性を高めるための視覚的要約を生成する。
• 位置情報付きおよびタイムスタンプ付きメタデータを活用して、都市や月ごとのトレンドを分析する。

実験結果

リサーチクエスチョン

• RQ1 衣類スタイルは、異なる都市や時間経過とともにどのように変化するか？
• RQ2 どの衣類属性が特定の地域やグローバルトレンドを最も的確に表しているか？
• RQ3 特定の場所において、最も特徴的で時間的に集中したファッションスタイルは何か？
• RQ4 大規模な画像コレクションから自動的に意味のあるスタイルクラスタを発見・可視化する方法は何か？
• RQ5 機械学習は、非構造的なソーシャルメディア写真から信頼性があり解釈可能なファッショントレンドをどの程度抽出できるか？

主な発見

• インド・サブコンチンンとシンガポールでは、黒のポロシャツに眼鏡を合わせるスタイルが強く地域的嗜好として顕著で、局所的ファッショントレンドを示している。
• 2014年6月～7月にかけて、ボゴタ、カラチ、リオデジャネイロ、サントスの都市で、グラフィックプリントのイエロートッパーが極めて人気だった。これは2014年FIFAワールドカップと重複している。
• ニジェリアのヘッドタイ「ゲレ」は、ラゴス、ナイジェリアに特有で、極めて特徴的で地域に特化したスタイルである。
• ブルーシャツ、チェックシャツ、ブラックTシャツは世界中で通年を通じて人気が高く、グローバルファッションの定番であることを示している。
• 一部のスタイル、例えばイエロースポーツジャージは、ワールドカップのような主要イベント時に極端に時間的・空間的に集中しており、ピークに達している。
• ヨーロッパの都市では、他の地域と比較して冬物衣料の割合が高く、気候的・文化的な違いが反映されている。