[論文レビュー] Who, Where, and What to Wear? Extracting Fashion Knowledge from Social Media

Yunshan Ma, Xun Yang+3 more|arXiv (Cornell University)|Aug 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 10

ひとこと要約

本論文は、コンテキストに応じたファッションコンセプト学習モジュールと弱いラベルモデリングを用いて、ノイズが多く限定的なアノテーションが与えられたソーシャルメディアから、人物、行事、衣類を結びつけるファッション知識を自動で抽出する新規手法を提案する。このアプローチは、画像、テキスト、メタデータのマルチモーダル分析を統合し、ファッションコンセプト予測において優れたパフォーマンスを達成するとともに、後続の応用分野（例：レコメンデーション）に役立つ統計的根拠に基づいた行動可能なファッション知識を生成する。

ABSTRACT

Fashion knowledge helps people to dress properly and addresses not only physiological needs of users, but also the demands of social activities and conventions. It usually involves three mutually related aspects of: occasion, person and clothing. However, there are few works focusing on extracting such knowledge, which will greatly benefit many downstream applications, such as fashion recommendation. In this paper, we propose a novel method to automatically harvest fashion knowledge from social media. We unify three tasks of occasion, person and clothing discovery from multiple modalities of images, texts and metadata. For person detection and analysis, we use the off-the-shelf tools due to their flexibility and satisfactory performance. For clothing recognition and occasion prediction, we unify the two tasks by using a contextualized fashion concept learning module, which captures the dependencies and correlations among different fashion concepts. To alleviate the heavy burden of human annotations, we introduce a weak label modeling module which can effectively exploit machine-labeled data, a complementary of clean data. In experiments, we contribute a benchmark dataset and conduct extensive experiments from both quantitative and qualitative perspectives. The results demonstrate the effectiveness of our model in fashion concept prediction, and the usefulness of extracted knowledge with comprehensive analysis.

研究の動機と目的

• 人物、行事、衣類を結びつける大規模かつユーザー中心のファッション知識の不足に応えること。
• 構造化されていないマルチモーダルなソーシャルメディアコンテンツから自動でファッション知識を抽出する手法を開発すること。
• 人為的アノテーションが限られている課題を、強固な学習フレームワークを用いて弱いラベル付きデータを活用することで克服すること。
• 複数モダリティ間のコンテキスト的依存関係を活用して、衣類、行事、人物属性といったファッションコンセプトの予測を統合すること。
• 抽出された知識の妥当性と有用性を示すために、包括的な定量的および定性的分析を通じて検証すること。

提案手法

• マルチモーダル入力（画像、テキスト、メタデータ）を用いて、ファッションコンセプト間の依存関係や相関関係をモデル化するコンテキストに応じたファッションコンセプト学習モジュールを提案する。
• ラベル遷移行列を用いた弱いラベルモデリングモジュールを導入し、機械生成ラベルのノイズに対して耐性を高める。
• 柔軟性とパフォーマンスを維持するため、人物属性検出（例：性別、年齢）にオフザシェルフツールを活用する。
• クリーンな人為的アノテーションデータと機械ラベル付きデータを組み合わせることで、モデルの汎化性能を向上させ、アノテーション負荷を低減する。
• 高頻度のトリプレット（行事、人物、衣類）を抽出する統計的集約パイプラインを適用する。
• 共有されたコンテキスト表現を用いて、衣類認識、行事予測、人物属性検出を同時に最適化するマルチタスク学習フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 構造化されていないソーシャルメディアコンテンツから、人物、行事、衣類を結びつけるファッション知識を効果的に抽出できるか？
• RQ2 ファッションコンセプト間のコンテキスト的依存関係をどのようにモデル化すれば、予測精度が向上するか？
• RQ3 クリーンなアノテーションが限られている状況で、弱いラベル付きデータがどの程度、ファッションコンセプト学習を改善できるか？
• RQ4 抽出されたファッション知識は、現実の着用パターンや社会的慣習を的確に反映しているか？
• RQ5 提案手法は、ファッションレコメンデーションなどの後続応用をどのように支援できるか？

主な発見

• 提案モデルは、コンテキストに応じた学習と弱い監督の有効性を示し、ファッションコンセプト予測において最先端のパフォーマンスを達成した。
• 抽出されたファッション知識は、会議でのフォーマルウェアやウェディングのドレスコードといった合理的で現実的なパターンを明らかにした。
• カテゴリ間マッチング解析から、強い適合トレンドが観察された（例：シャツはショートパンツよりもパンツとより頻繁に組み合わせられる。長袖はロングガーメントと強く相関する）。
• モデルは性別に特化したトレンドを的確に同定した。例えば、女性は特定の文脈でドレスを好む傾向があり、男性はTシャツやパンツを好む傾向が見られた。
• 知識抽出パイプラインは、一般的なファッション慣習と整合性のある高頻度のトリプレット（行事、人物、衣類）を生成し、レコメンデーションシステムに有用であることが示された。
• 弱いラベルモデリングモジュールに組み込まれたラベル遷移行列は、ノイズの多いアノテーションに対する耐性を著しく向上させ、全体の学習パフォーマンスを向上させた。