[論文レビュー] A Strong Baseline for Fashion Retrieval with Person Re-Identification Models

Mikołaj Wieczorek, Andrzej Michałowski+2 more|arXiv (Cornell University)|Mar 9, 2020

Face recognition and analysis参考文献 10被引用数 13

ひとこと要約

この論文では、最先端の人物再識別（ReID）モデルを適応させることで、ファッションリtrievalのための単純だが非常に効果的なベースラインを提案している。具体的には、ResNet50-IBN-Aバックボーンと四重損失（quadruplet loss）を用いている。その単純さにもかかわらず、Street2Shop（54.8 mAP、72.9 Acc@20）およびDeepFashion（40.0 Acc@1、79.0 Acc@20）の両データセットで、新たなSOTA性能を達成しており、ReIDモデルをファッションリtrievalに最小限のアーキテクチャ変更で効果的に転送できることが示された。

ABSTRACT

Fashion retrieval is the challenging task of finding an exact match for fashion items contained within an image. Difficulties arise from the fine-grained nature of clothing items, very large intra-class and inter-class variance. Additionally, query and source images for the task usually come from different domains - street photos and catalogue photos respectively. Due to these differences, a significant gap in quality, lighting, contrast, background clutter and item presentation exists between domains. As a result, fashion retrieval is an active field of research both in academia and the industry. Inspired by recent advancements in Person Re-Identification research, we adapt leading ReID models to be used in fashion retrieval tasks. We introduce a simple baseline model for fashion retrieval, significantly outperforming previous state-of-the-art results despite a much simpler architecture. We conduct in-depth experiments on Street2Shop and DeepFashion datasets and validate our results. Finally, we propose a cross-domain (cross-dataset) evaluation method to test the robustness of fashion retrieval models.

研究の動機と目的

• 両タスクに強い類似性があることから、人物再識別（ReID）モデルをファッションリtrievalに適応可能かどうかを調査すること。
• 従来のより複雑なタスク特化型モデルよりも優れた、単純で効果的なファッションリtrievalのベースラインを確立すること。
• 異なるデータ分布間での実世界の展開を想定し、新規のクロスドメイン（クロスデータセット）評価プロトコルを用いてモデルのロバストネスを評価すること。
• ReIDからファッションリtrievalへの転移学習が、最小限のアーキテクチャ変更で顕著な性能向上をもたらすかどうかを示すこと。

提案手法

• RSTモデル（ResNet50-IBN-Aバックボーンを搭載）を、ファッションリtrievalに適応させるために損失関数と学習戦略を変更した。
• 四重損失関数を採用し、アンカー、ポジティブ、および2つのネガティブサンプルを比較することで特徴の識別性を向上させ、埋め込みの質を改善した。
• グローバル平均プーリングとメトリクス学習ヘッドを用いて、学習された埋め込み空間内でのリtrieval用の画像埋め込みを生成した。
• 推論後に再ランク戦略を適用し、コサイン類似度と特徴再重み付けを用いてトップ-kリtrieバル結果を最適化した。
• 1つのデータセット（例：DeepFashion）で学習し、別のデータセット（例：Street2Shop）でテストすることで、ドメインシフトを想定したクロスドメイン評価を実施した。
• カテゴリバイアスを避けるために、ギャラリー全体をカバーする非制約的リtrieバルを実施し、実世界の性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 ドメインやコンテンツの違いがあるにもかかわらず、人物再識別（ReID）で事前学習されたモデルが、ファッションリtrievalに効果的に適応可能かどうか。
• RQ2 ReIDモデルに基づく単純で最適化されていないアーキテクチャが、複雑なタスク特化型ファッションリtrieバルモデルを上回るか。
• RQ3 クロスドメイン設定下で、ReIDベースのモデルの性能が異なるデータ分布にどのように一般化されるか。
• RQ4 四重損失と再ランク戦略が、ファッションリtrieバルにおける検索精度をどの程度向上させるか。

主な発見

• 提案されたReIDベースのベースラインは、Street2Shopデータセットで54.8 mAPおよび72.9 Acc@20を達成し、新たなSOTAを樹立した。
• DeepFashionデータセットでは、40.0 Acc@1および79.0 Acc@20を達成し、前回のSOTAを大幅に上回った。
• 解像度が数倍も小さい画像を用いても、モデルは優れた性能を発揮しており、高い効率性とロバストネスを示した。
• クロスドメイン評価では、Street2Shopで学習したモデルがDeepFashionで37.7 Acc@1を達成しており、学習済み表現の転送可能性が示された。
• 再ランク戦略は全指標で性能向上をもたらし、Street2ShopではmAPが7.5%相対的に向上した。これはトップ-k結果の最適化における価値を示している。
• 四重損失は、特に細分化されたリtrieバルにおける誤検出（偽陽性）の低減に寄与し、三重損失よりも顕著な性能向上をもたらした。