[論文レビュー] An Effective Pipeline for a Real-world Clothes Retrieval System

Yang-Ho Ji, HeeJae Jun+8 more|arXiv (Cornell University)|May 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 4

ひとこと要約

本論文では、検出、メトリクス学習に基づく検索、および後処理技術を組み合わせた、実世界の衣料品検索に耐障害性のある3段階パイプラインを提示する。重み付きボックス統合（WBF）と特徴の連結を統合することで、テストセットにおいてAcc@10が0.854168に達し、DeepFashion2 2020チャレンジで2位を獲得した。これは大規模ファッションデータに対して優れた性能を示している。

ABSTRACT

In this paper, we propose an effective pipeline for clothes retrieval system which has sturdiness on large-scale real-world fashion data. Our proposed method consists of three components: detection, retrieval, and post-processing. We firstly conduct a detection task for precise retrieval on target clothes, then retrieve the corresponding items with the metric learning-based model. To improve the retrieval robustness against noise and misleading bounding boxes, we apply post-processing methods such as weighted boxes fusion and feature concatenation. With the proposed methodology, we achieved 2nd place in the DeepFashion2 Clothes Retrieval 2020 challenge.

研究の動機と目的

• 大規模データセットにおける実世界のファッション画像検索のための耐障害性がありスケーラブルなパイプラインの開発。
• 検出出力におけるノイズや一貫性のないバウンディングボックスに対処することで、検索精度の向上。
• アンサンブル学習および後処理技術を用いて特徴表現を強化。
• 具体的には、実世界のベンチマーク、特にDeepFashion2 2020衣料品検索チャレンジで最先端の性能を達成すること。

提案手法

• パイプラインは3つのコンponentで構成される：オブジェクト検出、メトリクス学習に基づく検索、および耐障害性を向上させるための後処理。
• 正確な衣類バウンディングボックスを生成するために、5つの最先端のオブジェクト検出器（例：ATSS、Cascade Mask R-CNN）が使用された。
• 検索のための判別的特徴埋め込みを学習するために、グローバル記述子（CGD）の組み合わせを用いたメトリクス学習モデルが採用された。
• 複数の検出器からの予測を統合するために、重み付きボックス統合（WBF）が適用され、一貫性の低下を軽減し、局所化精度を向上させた。
• 複数のディープネットワークからのl2正規化済み埋め込みの特徴連結が行われ、表現を豊かにし、検索性能を向上させた。
• k-相互再ランク付けやデータベース側の拡張といった後処理技術が評価されたが、効果的だったのはWBFと特徴連結のみであった。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、多様な入力が存在する大規模かつ実世界のファッションデータセットにおいて、高い性能を維持する検索パイプラインはどのように設計できるか？
• RQ2 一貫性のない検出出力の下で、WBF や特徴連結といった後処理技術が、どの程度検索精度を向上させるか？
• RQ3 実世界の衣料品検索システムにおいて、最適な性能を発揮する検出モデルと検索アーキテクチャの組み合わせは何か？
• RQ4 理論的には有望であるにもかかわらず、PCAホワイトニングやクエリ拡張（QE）といった特定の後処理手法が、なぜ性能向上に寄与しなかったのか？

主な発見

• 提案されたパイプラインは、DeepFashion2 2020のテストセットでAcc@10が0.854168に達し、チャレンジで2位を獲得した。
• 5つの検出器を用いた重み付きボックス統合（WBF₅）により検出性能が向上し、アンサンブル検索と組み合わせた際、Acc@10が0.869435から0.877192に上昇した。
• WBF₅を用いて17のモデルからの埋め込みを連結することで、バリデーションセットでのAcc@10は0.888341にまで上昇し、顕著な性能向上が確認された。
• 126,000個のボックスに対してk-相互再ランク付けを適用したところ、Acc@10は0.02向上したが、WBFによる440,000個へのボックス簡略化に比べて優位ではなかった。
• PCAホワイトニングとクエリ拡張（QE）は性能を低下させたため、このタスクではフル次元の特徴連結がより好ましいことが示された。
• 本手法はファッション分野を超えて一般化が可能であり、家具、ビューティ製品、おもちゃにおけるビジュアルサーチへの応用が有望である。