[論文レビュー] DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images

Yuying Ge, Ruimao Zhang+4 more|arXiv (Cornell University)|Jan 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 25

ひとこと要約

本稿では、801Kの衣類インスタンスを密なランドマーク、マスク、バウンディングボックス、および873Kの消費者-商業画像ペアでアノテートした大規模なベンチマーク、DeepFashion2を紹介する。また、検出、ポーズ推定、セグメンテーション、リトリーブを統合的に実行できるエンドツーエンドフレームワークであるMatch R-CNNを提案し、オクルージョンや視点変化といった課題にもかかわらず、全タスクで優れた性能を達成している。

ABSTRACT

Understanding fashion images has been advanced by benchmarks with rich annotations such as DeepFashion, whose labels include clothing categories, landmarks, and consumer-commercial image pairs. However, DeepFashion has nonnegligible issues such as single clothing-item per image, sparse landmarks (4~8 only), and no per-pixel masks, making it had significant gap from real-world scenarios. We fill in the gap by presenting DeepFashion2 to address these issues. It is a versatile benchmark of four tasks including clothes detection, pose estimation, segmentation, and retrieval. It has 801K clothing items where each item has rich annotations such as style, scale, viewpoint, occlusion, bounding box, dense landmarks and masks. There are also 873K Commercial-Consumer clothes pairs. A strong baseline is proposed, called Match R-CNN, which builds upon Mask R-CNN to solve the above four tasks in an end-to-end manner. Extensive evaluations are conducted with different criterions in DeepFashion2.

研究の動機と目的

• 既存のファッションベンチマークにおける限界、すなわち1画像あたり1アイテム、ランドマークが疎（4〜8個）、ピixeL単位のマスクが欠落している点を是正すること。
• 衣類検出、ポーズ推定、インスタンスセグメンテーション、消費者-ショップ間リトリーブの4つの主要タスクをサポートする包括的で柔軟なベンチマークを構築すること。
• 検出、ポーズ、セグメンテーション、分類のヘッドから得られる特徴を共有することで、4つのタスクを同時に処理可能な統合的でエンドツーエンドのディープラーニングフレームワーク、Match R-CNNを開発すること。
• オクルージョン、スケール変動、視点変化、ズームイン効果といった現実的な課題下でのモデル性能を評価すること。
• ファッション画像理解分野の研究を加速するために、DeepFashion2データセットとMatch R-CNNのコードを公開すること。

提案手法

• 491K枚の画像に801Kの衣類インスタンスをアノテートし、バウンディングボックス、密な15〜39ポイントのキーポイントランドマーク、ピixeL単位のマスク、およびスタイル/視点/オクルージョン/スケール属性を含める。
• クロスドメインリトリーブ評価を可能にするために、873Kの消費者-商業画像ペアを構築する。
• Mask R-CNNの拡張としてMatch R-CNNを設計し、検出、ポーズ、セグメンテーション、分類のヘッドからの特徴を統合してエンドツーエンドのリトリーブを実現する。
• 検出（AP）、ポーズ推定（AP）、セグメンテーション（mAP）、リトリーブ（トップ1/5/10/20正解率）の4つのタスクでモデルを訓練および評価する。
• マルチスケールのデータオーグメンテーションとドメインに適応した特徴集約を用いて、オクルージョン、視点、スケール変動に対する耐性を向上させる。
• リトリーブに最も効果的な表現を同定するために、特徴の組み合わせ（ポーズ、分類、マスク）に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ豊富なアノテーションが施されたファッションベンチマーク上での最先端モデルの性能は、検出、ポーズ推定、セグメンテーション、リトリーブの各タスクでどのように変動するか？
• RQ2 オクルージョン、視点、スケール、ズームインが、衣類認識および局所化の精度にどの程度影響を与えるか？
• RQ3 Match R-CNNのような統合的エンドツーエンドフレームワークは、複数のファッション理解タスクを同時に効果的に処理できるか？
• RQ4 ポーズ、分類、マスクのどの特徴の組み合わせが、クロスドメインの消費者-ショップ画像マッチングで最高のリトリーブ正解率を達成するか？
• RQ5 マスクやランドマークといった密なインスタンスレベルのアノテーションを含めることで、スパarsなアノテーションやアノテーションなしと比較して、モデルの一般化性能がどの程度向上するか？

主な発見

• Ground-truthバウンディングボックスを使用した場合、Match R-CNNのトップ20リトリーブ正解率は0.7未満にとどまり、ベンチマークの高い難易度を示している。
• 重度のオクルージョン、ズームイン、サイド/バックビューの状況下でモデルの性能が著しく低下しており、ファッション理解における現実世界の課題が顕在化している。
• 密なランドマーク推定ではAPが0.563に達しており、COCOにおける人間のポーズ推定よりも衣類ランドマーク予測がより困難であることが示唆されている。
• 小スケールおよび重度にオクルージョンを受ける衣類アイテムでは、セグメンテーションのmAPが著しく低下しており、検出やポーズ推定のトレンドと一致している。
• ポーズと分類の特徴を組み合わせると、マスクまたは分類単体を使用する場合よりも高いリトリーブ正解率が得られ、ポーズ特徴がドメインをまたいでより頑健であることが判明した。
• 本ベンチマークは、FashionAIグローバルチャレンジの8倍、DeepFashionの3.5倍のラベル数を含んでおり、これまでで最大規模かつ最も包括的なファッションデータセットである。