[論文レビュー] Aggregation and Finetuning for Clothes Landmark Detection

Tzu-Heng Lin|arXiv (Cornell University)|May 1, 2020

Anomaly Detection Techniques and Applications参考文献 13被引用数 4

ひとこと要約

本論文は、衣類のランドマーク検出のためのアグリゲーションとファインチューニングフレームワークを提案し、衣類の種別に跨る意味的に類似したランドマークをグループ化することで性能を向上させ、カテゴリ固有のモデルをファインチューニングする。この手法により、DeepFashion2テストセットで0.615 APという最先端の結果を達成し、従来手法を顕著に上回った。

ABSTRACT

Landmark detection for clothes is a fundamental problem for many applications. In this paper, a new training scheme for clothes landmark detection: $ extit{Aggregation and Finetuning}$, is proposed. We investigate the homogeneity among landmarks of different categories of clothes, and utilize it to design the procedure of training. Extensive experiments show that our method outperforms current state-of-the-art methods by a large margin. Our method also won the 1st place in the DeepFashion2 Challenge 2020 - Clothes Landmark Estimation Track with an AP of 0.590 on the test set, and 0.615 on the validation set. Code will be publicly available at https://github.com/lzhbrian/deepfashion2-kps-agg-finetune .

研究の動機と目的

• 衣類の種別に跨るランドマーク数の多さとデータのアンバランスさによる低性能の課題に対処する。
• 異なる衣類タイプに跨るランドマークの均質性を調査し、一般化性能と学習効率を向上させる。
• 過学習を低減し、特にデータが不足している衣類カテゴリに対して検出精度を向上させる学習スキームを開発する。
• 特にリソースが限られたカテゴリにおいても、DeepFashion2ベンチマークで最先端の性能を達成する。
• 物体検出の品質が、人間のポーズ推定とは異なり、衣類ランドマーク検出において深刻なボトル neck であることを示す。

提案手法

• 13種類の衣類カテゴリから得た294個の個別ランドマークを、共通の定義（例：トップスとドレスのコラーや、スカートのウエストライン）に基づき、意味的に類似した81のグループにアグリゲートする。
• アグリゲートされた81ランドマークを用いて、1つのユニバーサルキーポイント検出器を学習させ、データ効率と収束速度を向上させる。
• 各衣類カテゴリのデータのみを用いてカテゴリ固有のファインチューニングを実施し、リソースが少ないクラスの検出精度を向上させる。
• 2段階の検出パイプラインを採用：まず、ハイブリッドタスクカスケード検出器（ResNeXt-101-64x4d）で衣類インスタンスを検出し、その後HRNet-w48キーポイントヘッドでランドマークを検出する。
• トレーニングおよび推論時に水平反転のデータオーグメンテーションを適用し、耐性を向上させる。
• モデルアンサンブルとアブレーションスタディを用いて、パイプライン内各コンponentの寄与度を検証する。

実験結果

リサーチクエスチョン

• RQ1 提案手法のアグリゲーションとファインチューニングスキームは、DeepFashion2ベンチマークで最先端の手法と比較してどのように差がつくか？
• RQ2 衣類認識におけるランドマーク検出精度に、物体検出性能がどの程度制限要因となっているか？
• RQ3 意味的に類似したランドマークのアグリゲーションは、モデルの一般化性能と収束性の向上にどの程度効果的か？
• RQ4 カテゴリ固有のファインチューニングは、リソースが少ない衣類カテゴリでの性能向上に顕著に寄与するか？
• RQ5 各コンponent（アグリゲーション、ファインチューニング、データオーグメンテーション）が最終的な性能向上に果たす寄与度は何か？

主な発見

• 提案手法はDeepFashion2テストセットで0.615 AP、テストセットで0.590 APを達成し、2020年DeepFashion2チャレンジ - 衣類ランドマーク推定トラックで1位を獲得した。
• アブレーションスタディの結果、アグリゲーションによりAPが0.003上昇（0.556 → 0.559）、より良い物体検出器に切り替えることでAPが0.02上昇（0.559 → 0.579）した。
• ファインチューニング戦略が最も大きな向上をもたらし、APを0.584から0.612に引き上げ、データのアンバランスさへの対処の有効性を示した。
• リソースが少ないカテゴリでの性能向上が顕著であった：スリングは0.470から0.576 APに、スリングドレスは0.586から0.686 APに向上した。
• 物体検出が深刻なボトル neck であることが判明した—正解ボックスを用いるとAPが0.652に上昇し、モデル生成ボックス（0.579）よりも顕著に高い結果となった。
• 改善にもかかわらず、極度にデータが少ないカテゴリ（例：ショートスリーブアウター、543件のトレーニングサンプル）では、APが0.382から0.386にしか上昇せず、現在の手法の極限的データ不足における限界を示唆した。