[論文レビュー] FashionSearchNet-v2: Learning Attribute Representations with Localization for Image Retrieval with Attribute Manipulation

Kenan E. Ak, Joo‐Hwee Lim+3 more|arXiv (Cornell University)|Nov 28, 2021

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

FashionSearchNet-v2 は、属性操作を伴う画像検索のための弱教師付きで局所化に配慮した深層学習フレームワークを提案する。クラス活性化マッピング（CAM）を用いて属性固有の領域を特定し、局所化された領域上で三重損失を適用することで類似度学習を向上させる。複数のファッションおよび属性豊富なデータセットにおいて、他の最先端手法を上回り、他の画像属性を維持したまま、正確で説明可能な属性操作を可能にする。

ABSTRACT

The focus of this paper is on the problem of image retrieval with attribute manipulation. Our proposed work is able to manipulate the desired attributes of the query image while maintaining its other attributes. For example, the collar attribute of the query image can be changed from round to v-neck to retrieve similar images from a large dataset. A key challenge in e-commerce is that images have multiple attributes where users would like to manipulate and it is important to estimate discriminative feature representations for each of these attributes. The proposed FashionSearchNet-v2 architecture is able to learn attribute specific representations by leveraging on its weakly-supervised localization module, which ignores the unrelated features of attributes in the feature space, thus improving the similarity learning. The network is jointly trained with the combination of attribute classification and triplet ranking loss to estimate local representations. These local representations are then merged into a single global representation based on the instructed attribute manipulation where desired images can be retrieved with a distance metric. The proposed method also provides explainability for its retrieval process to help provide additional information on the attention of the network. Experiments performed on several datasets that are rich in terms of the number of attributes show that FashionSearchNet-v2 outperforms the other state-of-the-art attribute manipulation techniques. Different than our earlier work (FashionSearchNet), we propose several improvements in the learning procedure and show that the proposed FashionSearchNet-v2 can be generalized to different domains other than fashion.

研究の動機と目的

• ユーザーが特定の属性（例：襟のスタイル、色）を変更したいが、他の属性を維持したいという要件を満たす、eコマースにおける属性操作を伴う画像検索の課題に対処すること。
• 弱教師付きの局所化により、ファッション画像における複数の空間的に異なる属性に対して、関連する画像領域に注目することで、特徴表現学習を向上させること。
• 各属性ごとに分離された局所的表現を学習し、属性メモリブロックを介して統合することで、柔軟で説明可能な検索を可能にすること。
• 従来の手法が空間的注目を欠いているか、グローバル特徴に依存しているため、関係のない属性に汚染される可能性があるという制限を克服すること。
• 強力で局所化された属性表現を活用することで、ファッション領域を超えて、複雑な多属性画像を含む他の分野へも一般化すること。

提案手法

• 境界ボックスのアノテーションなしで、各属性の関連領域を局所化するため、グローバル平均プーリング（GAP）を用いたクラス活性化マッピング（CAM）により空間的注目マップ（AAMs）を生成する。
• AAMs に対して ROI プーリング を適用し、各属性の局所的で属性固有の特徴表現を抽出することで、関係のない画像領域からの干渉を低減する。
• 各局所化された領域に対して、属性分類損失と三重損失を別々に適用し、ネットワークを共同で学習させることで、トレーニングにおける三重の多様性を向上させ、属性類似度のエンドツーエンド学習を可能にする。
• 推論時にクエリ画像の属性表現を動的に置き換えられる学習可能な属性メモリブロックを導入し、リアルタイムでの属性操作を可能にする。
• 局所化された表現とグローバル特徴を統合することで特徴統合を行い、局所化の誤りに対するロバストネスを向上させる。
• 初期特徴を抽出する共有バックボーンネットワークを用い、その後、各属性ごとに別々のブランチを設けることで、独立した表現学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CAM を用いた弱教師付き局所化が、属性操作を伴う画像検索における属性表現の判別性を向上させるか？
• RQ2 グローバル特徴ではなく、局所化された領域に三重損失を適用することで、より良い類似度学習と検索性能が得られるか？
• RQ3 提案された属性メモリブロックは、検索中に動的かつリアルタイムでの属性操作をどれほど効果的に可能にするか？
• RQ4 局所化が不正確な場合に、グローバル特徴との特徴統合は、どれほどロバストネスを向上させるか？
• RQ5 FashionSearchNet-v2 は、ファッション以外の分野や複雑な多属性画像を含むデータセットに対しても一般化可能か？

主な発見

• FashionSearchNet-v2 は、Shopping100k、DARN、iMaterialist、CelebA などの複数のベンチマークデータセットで、最先端の AMNet や他の SOTA 手法を上回る性能を達成した。
• Shopping100k では、より綺麗で一様なファッション画像で視覚的干渉が少ないため、Top-1 および Top-5 の検索精度が高くなった。
• iMaterialist では、ノイズが多く、複雑な背景や視点の変化を含む実世界のストリート画像のため、Shopping100k よりも性能が低かった。
• CelebA データセットでは、正面を向いた明るく被写体が明確な顔写真と、ファッション属性よりも少ない単純な顔貌属性のため、全体的に最も高い性能を示した。
• 特徴統合の導入によりロバストネスはわずかに向上したが、性能向上は顕著ではなく、局所化された表現自体がすでに非常に正確であることが示唆された。
• 推論は効率的であり、10,000枚の画像から特徴を抽出するのに約60秒で完了し、1枚あたりのROI抽出時間はわずか約0.002秒であり、リアルタイム応用に適している。