[論文レビュー] Semi-supervised Feature-Level Attribute Manipulation for Fashion Image Retrieval

Minchul Shin, Sanghyuk Park+1 more|arXiv (Cornell University)|Jul 11, 2019

Image Retrieval and Classification Techniques被引用数 2

ひとこと要約

本稿では、ファッション画像検索のための半教師付き特徴レベル属性操作手法を提案する。この手法は、特定の属性（例：色）を操作しながらも、アイデンティティおよび他の属性を保持するため、操作された特徴分布を実際の分布と一致させることで実現する。本手法は属性操作と表現学習を分離しており、既存のファッションインスタンス検索モデルが性能劣化を伴わずに属性操作を実行できるようにする。

ABSTRACT

With a growing demand for search by image, many works have studied task of fashion instance-level image retrieval (FIR). Furthermore, recent works introduce a concept of fashion attribute manipulation (FAM) which manipulates a specific attribute (e.g color) of a fashion item while maintaining rest of attributes (e.g shape, and pattern). In this way, users can search not only the same items but also similar items with desired attributes. FAM is a challenging task in that attributes are hard to define, and unique characteristics of a query are hard to be preserved. Although both FIR and FAM are important in real-life applications, most of previous studies have focused on only one of these problem. In this study, we aim to achieve competitive performance on both FIR and FAM. To do so, we propose a novel method that converts a query into a representation with desired attributes. We introduce a new idea of attribute manipulation at feature level, by matching distribution of manipulated features with real features. In this fashion, attribute manipulation can be done independently from learning a representation from image. By introducing feature-level attribute manipulation, previous methods for FIR can perform attribute manipulation without sacrificing their retrieval performance.

研究の動機と目的

• 既存の手法がファッションインスタンスレベル検索（FIR）またはファッション属性操作（FAM）のいずれかに焦点を当てており、両方を同時に扱わないというギャップに対処する。
• 既存の検索モデルの性能を損なうことなく、ファッション画像検索における属性操作を可能にする。
• 属性操作を画像表現学習から分離することで、柔軟性と一般化性能を向上させる。
• 属性編集中にファッションアイテムの独自のアイデンティティおよび非操作対象の属性を維持する。
• 統一的で特徴レベルの操作フレームワークを通じて、FIRおよびFAMの両タスクで競争力のある性能を達成する。

提案手法

• 学習済み特徴表現上で直接作業する特徴レベル属性操作アプローチを提案し、画像生成とは独立して動作させる。
• 実際の特徴と一致するように操作された特徴の分布を一致させる分布一致損失を用いることで、アイデンティティおよび構造的一致性を維持する。
• ラベル付きデータとラベルなしデータの両方を活用して特徴学習および操作を向上させる半教師付き学習設定を採用する。
• 望ましい属性条件に基づいて特徴空間内の特定の属性次元を調整する特徴操作器を訓練する。
• 操作プロセスを画像エンコーダーから分離することで、事前学習済みのFIRモデルを最小限の変更で使用可能にする。
• 操作された特徴が埋め込み空間で元のアイデンティティに近いままになるように、対照学習の目的関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 ファッション検索において、特徴レベル属性操作を画像表現学習から効果的に分離できるか？
• RQ2 モデルは、ファッションインスタンスレベル検索と属性操作の両タスクを同時にどれほどうまく実行できるか？
• RQ3 操作された特徴分布と実際の特徴分布を一致させることで、属性の整合性およびアイデンティティ保持が向上するか？
• RQ4 半教師付き学習は、提案手法のロバストネスおよび一般化性能をどの程度向上させるか？
• RQ5 提案フレームワークを用いることで、微調整なしに既存のFIRモデルを属性操作に適応できるか？

主な発見

• 提案手法は、ファッションインスタンスレベル検索および属性操作の両タスクで競争力のある性能を達成する。
• 特徴レベルの操作は、画像レベル生成ベースのアプローチに比べて、ファッションアイテムのアイデンティティおよび非操作対象の属性をより効果的に保持する。
• 操作された特徴と実際の特徴の間の分布一致は、属性の一貫性および視覚的妥当性を顕著に向上させる。
• 本手法により、微調整なしに既存のFIRモデルが属性操作を実行可能となり、性能劣化が生じない。
• 半教師付き学習は、特にリソースが限られた属性操作の状況において、特徴品質および一般化性能を向上させる。
• 分離された特徴操作のおかげで、未確認の属性組み合わせに対しても強力なゼロショット一般化を示す。