[論文レビュー] Hybrid Style Siamese Network: Incorporating style loss in complimentary apparels retrieval

Mayukh Bhattacharyya, Sayan Nag|arXiv (Cornell University)|Nov 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 5

ひとこと要約

本論文では、ニューラルスタイル転送からのスタイル損失を統合することで、視覚的に相性の良い衣類の検索を向上させるハイブリッドシameseネットワークを提案する。シameseアーキテクチャとハイブリッド損失関数を組み合わせることで、モデルは低レベルのスタイル特徴を捉え、視覚的に相性の良い衣類アイテムの検索において、標準的なシameseネットワークを著しく上回る性能を発揮する。

ABSTRACT

Image Retrieval grows to be an integral part of fashion e-commerce ecosystem as it keeps expanding in multitudes. Other than the retrieval of visually similar items, the retrieval of visually compatible or complementary items is also an important aspect of it. Normal Siamese Networks tend to work well on complementary items retrieval. But it fails to identify low level style features which make items compatible in human eyes. These low level style features are captured to a large extent in techniques used in neural style transfer. This paper proposes a mechanism of utilising those methods in this retrieval task and capturing the low level style features through a hybrid siamese network coupled with a hybrid loss. The experimental results indicate that the proposed method outperforms traditional siamese networks in retrieval tasks for complementary items.

研究の動機と目的

• ファッションアイテムの視覚的相性に不可欠な低レベルのスタイル特徴を標準的なシameseネットワークが捉えられないという限界を解決する。
• ニューラルスタイル転送の技術を統合し、相性の良い衣類の検索のための特徴表現を向上させる。
• メトリクス学習とスタイル損失を組み合わせたハイブリッド損失関数を設計し、検索性能を向上させる。
• 視覚的類似性だけにとどまらず、相性の良い衣類アイテムの検索精度を向上させる。
• ファッションEC検索システムにおけるスタイルに配慮した特徴学習の有効性を実証する。

提案手法

• 検索タスクに適した衣類画像のペアを処理するように、シameseネットワークアーキテクチャを適応させる。
• ニューラルスタイル転送から得られるスタイル損失のコンponentを統合し、低レベルのテクスチャおよびパターン特徴を捉える。
• 対照的損失（メトリクス学習用）とスタイル損失（特徴レベルのスタイル整合性用）を組み合わせたハイブリッド損失関数を設計する。
• 意味的類似性と視覚的スタイルの相性を最適化するため、相性の良い衣類のペア画像を用いてネットワークをエンドツーエンドで訓練する。
• コンテンツ表現とスタイル表現に注目し、事前学習済みの畳み込みネットワークからの特徴マップを用いてスタイル損失を計算する。
• 汎化性能を向上させるために、相性の良いアイテムペアがアノテートされたファッションデータセット上でネットワークをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルスタイル転送からのスタイル損失を統合することで、シameseネットワークの相性の良い衣類の検索性能が向上するか？
• RQ2 低レベルのスタイル特徴は、ファッションアイテムにおける人間の認識する相性にどのように寄与するか？
• RQ3 メトリクス学習とスタイル損失を組み合わせたハイブリッド損失は、標準的なシamese損失よりも優れた検索精度をもたらすか？
• RQ4 スタイルに配慮した特徴は、視覚的類似性を越えてどの程度検索を向上させるか？
• RQ5 提案手法は、多様なファッションカテゴリーおよびスタイルに一般化可能か？

主な発見

• 提案されたハイブリッドシameseネットワークは、従来のシameseネットワークよりも相性の良い衣類アイテムの検索において優れた性能を発揮する。
• スタイル損失を統合することで、モデルの微細な視覚的相性の兆候を検出する能力が著しく向上する。
• ハイブリッド損失関数により、画像ペア間のコンテンツ表現とスタイル表現の整合性を高め、特徴学習が強化される。
• モデルはテクスチャやパターンなどの低レベルのスタイル特徴を捉えることで、より高い検索精度を達成する。
• 実験結果から、スタイルに配慮した学習が人間の認識に近い検索結果をもたらすことが確認された。
• ベースラインのシameseネットワークと比較して、相性の良いアイテム検索において本手法が優れた性能を示した。