[論文レビュー] Outfit Generation and Style Extraction via Bidirectional LSTM and Autoencoder

Takuma Nakamura, Ryosuke Goto|arXiv (Cornell University)|Jun 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 3被引用数 40

ひとこと要約

この論文は、ジョイント BiLSTM ベースの outfit シーケンスモデルと教師なしのスタイル抽出オートエンコーダを導入し、ファッションの適合性と解釈可能なアウトフィットスタイルを学習し、スタイル制御付きアウトフィット生成を可能にする。

ABSTRACT

When creating an outfit, style is a criterion in selecting each fashion item. This means that style can be regarded as a feature of the overall outfit. However, in various previous studies on outfit generation, there have been few methods focusing on global information obtained from an outfit. To address this deficiency, we have incorporated an unsupervised style extraction module into a model to learn outfits. Using the style information of an outfit as a whole, the proposed model succeeded in generating outfits more flexibly without requiring additional information. Moreover, the style information extracted by the proposed model is easy to interpret. The proposed model was evaluated on two human-generated outfit datasets. In a fashion item prediction task (missing prediction task), the proposed model outperformed a baseline method. In a style extraction task, the proposed model extracted some easily distinguishable styles. In an outfit generation task, the proposed model generated an outfit while controlling its styles. This capability allows us to generate fashionable outfits according to various preferences.

研究の動機と目的

• アイテムの適合性とともにグローバルなアウトフィットのスタイルをモデル化する必要性を動機づける。
• アウトフィットのシーケンスとグローバルなスタイルを同時に学習するエンドツーエンドのアーキテクチャを提案する。
• 解釈可能なスタイルベクトルを生み出す教師なしのスタイル抽出を可能にする。
• ターゲットスタイルに条件付けたアウトフィット生成を実演し、実データセットで評価する。

提案手法

• アウトフィットをCNN抽出アイテム特徴のシーケンスとして表現する。
• アウトフィット内のアイテム適合性を学習するためにBiLSTMを用いる（順伝播および逆伝播）。
• Visual-Semantic Embedding (VSE) を用いて画像特徴とテキスト属性を整合させる（利用可能なとき）。
• Softmax化されたスタイルベクトルを介して基底スタイルの混成としてアウトフィットスタイルをエンコードする Style Embedding (SE) モジュールを導入する。
• E_f + E_b + E_e + E_s + E_r を組み合わせた目的関数で訓練し、教師なしのスタイル学習とエンドツーエンド最適化を可能にする。
• ジョイントシーケンス尤度とスタイル類似性項を最適化するビーム探索を通じてスタイル管理付きアウトフィット生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 BiLSTM ベースのモデルは局所的なアイテムペアを超えたグローバルなアウトフィットの適合性を捉えられるか？
• RQ2 教師なしのスタイル抽出モジュールはアウトフィット全体で共有される解釈可能なスタイルベクトルを生み出せるか？
• RQ3 スタイル埋め込みモジュールを組み込むことで欠損アイテム予測を向上させ、スタイル管理付きアウトフィット生成を可能にするか？

主な発見

Dataset	Method	gamma	Acc
Polyvore	Bi-LSTM + VSE (Han et al., 2017)	-	0.726
Polyvore	Bi-LSTM + SE (this paper)	0.0	0.729
Polyvore	Bi-LSTM + SE (this paper)	0.2	0.727
Polyvore	Bi-LSTM + SE (this paper)	0.5	0.723
Polyvore	Bi-LSTM + VSE + SE (this paper)	0.0	0.728
Polyvore	Bi-LSTM + VSE + SE (this paper)	0.2	0.732
Polyvore	Bi-LSTM + VSE + SE (this paper)	0.5	0.732
IQON	Bi-LSTM	-	0.703
IQON	Bi-LSTM + SE (this paper)	-	0.715
IQON	Bi-LSTM + SE (this paper)	0.2	0.713
IQON	Bi-LSTM + SE (this paper)	0.5	0.711

• BiLSTM + SE モデルは Polyvore でベースラインより欠損アイテム予測精度が高く、IQON でも競争力のある結果を示す。
• SE モジュールで抽出されたスタイルベクトルは解釈可能で、線形結合して新しいアウトフィットスタイルを形成できる。
• ターゲットスタイルで生成されたアウトフィットは意図したスタイリッシュ特性を反映し、スタイルを考慮した生成が制御可能であることを示す。
• VSE なしの BiLSTM + SE の使用でも高い性能を発揮し、属性付きラベルなしでもスタイル認識を含むシーケンスモデリングが効果的であることを示す。
• 複数要素からなるスタイル基底は基底スタイルの混成を通じて複雑なアウトフィットを表現できる。