[論文レビュー] Multi-Task Curriculum Transfer Deep Learning of Clothing Attributes

Qi Dong, Shaogang Gong+1 more|arXiv (Cornell University)|Oct 12, 2016

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 5

ひとこと要約

本論文は、複数の衣類属性を同時に学習するマルチタスクネットワークと段階的なカリキュラム学習戦略を用いて、制御された店舗画像から制約のないウェブ上での画像への転移を向上させる、マルチタスクカリキュラム転移（MTCT）深層学習フレームワークを提案する。この手法は最先端の性能を達成し、X-DomainベンチマークにおいてFashionNetをmAP_clsで4.51%上回り、限られたターゲット学習データでも顕著な向上を示した。

ABSTRACT

Recognising detailed clothing characteristics (fine-grained attributes) in unconstrained images of people in-the-wild is a challenging task for computer vision, especially when there is only limited training data from the wild whilst most data available for model learning are captured in well-controlled environments using fashion models (well lit, no background clutter, frontal view, high-resolution). In this work, we develop a deep learning framework capable of model transfer learning from well-controlled shop clothing images collected from web retailers to in-the-wild images from the street. Specifically, we formulate a novel Multi-Task Curriculum Transfer (MTCT) deep learning method to explore multiple sources of different types of web annotations with multi-labelled fine-grained attributes. Our multi-task loss function is designed to extract more discriminative representations in training by jointly learning all attributes, and our curriculum strategy exploits the staged easy-to-complex transfer learning motivated by cognitive studies. We demonstrate the advantages of the MTCT model over the state-of-the-art methods on the X-Domain benchmark, a large scale clothing attribute dataset. Moreover, we show that the MTCT model has a notable advantage over contemporary models when the training data size is small.

研究の動機と目的

• 制約のないウェブ上での画像において、ラベル付きデータが乏しい細分化された衣類属性を認識する課題に対処すること。
• 明るく背景がきれいな店舗画像から、ごみだらけで現実世界のストリート画像へのドメインシフトを伴う転移学習を改善すること。
• 複数の衣類属性をマルチタスク深層ネットワークを用いて同時に学習することで相関関係を活用し、特徴の識別能を向上させること。
• 認知的学習原理を模倣し、簡単な例から難しい例へ段階的に難易度を上げるカリキュラム学習戦略を開発し、深層モデルの最適化をより良くすること。
• ターゲットドメインにおける低データ環境下でも優れた性能と頑健性を示すことを実証すること。

提案手法

• MTCTフレームワークは、複数の衣類属性間で特徴を共有するマルチタスクネットワーク（MTN）を採用し、表現学習を強化する。
• すべての属性を同時に最適化するための新しいマルチタスク損失関数を用い、モデルが識別能の高い相関する特徴を学習するように促進する。
• より簡単な例から始め、徐々に難易度の高い複雑なサンプルへと進むカリキュラム転移学習戦略を導入し、最適化を安定化させる。
• このカリキュラム戦略は認知科学にインspiredされ、人間の学習を模倣して段階的にタスクの難易度を上げる。
• 弱いラベルが付与されたオンライン小売業者からのウェブデータ（ソースドメイン）を活用し、最小限の手動アノテーションでウェブ上での画像（ターゲットドメイン）への知識転移を実現する。
• 標準のトリプレットランク損失の代わりにt-STE損失関数を用い、mAPで1.75%の性能向上を達成した。

実験結果

リサーチクエスチョン

• RQ1 ドメインシフトが存在する中で、マルチタスク学習が細分化された衣類属性認識のための特徴表現を改善できるか？
• RQ2 エンドツーエンド学習と比較して、カリキュラム学習戦略が深層属性学習の最適化と一般化性能を向上させるか？
• RQ3 本研究で提案するMTCTモデルは、特にわずか数枚のラベル付きウェブ上画像しか利用できない状況下で、ターゲットドメインにおいてどのように性能を発揮するか？
• RQ4 ウェブから取得した制御された店舗画像からの知識転移が、制約のないストリート画像における属性認識を効果的に改善できるか？
• RQ5 異なる損失関数（例：t-STE vs. トリプレットランク）が最終的な属性認識性能に与える相対的影響は何か？

主な発見

• MTCTモデルはX-Domainベンチマークにおいて、最先端のFashionNet（71.15%）をmAP_clsで4.51%の絶対的向上率で上回り、75.66%のmAP_clsを達成した。
• MTCTモデルはDARNおよびDDANをすべての指標で上回り、エンドツーエンド学習ベースラインと比較してmAP_clsで2.05%の向上を示した。
• ターゲット画像が3,676枚（全セットの10%）のラベル付きデータでのみ学習した場合、MTCTはFashionNetをmAPで8.4%の相対的向上率で上回った。
• t-STE損失関数は、MTCTネットワークにおいてトリプレットランク損失よりもmAPで1.75%高い性能を示した。
• ターゲット学習データが10%にまで削減されても、モデルは強力な性能を維持し、データ不足下でも頑健性とスケーラビリティを示した。
• Faster R-CNNベースの衣類検出器は、店舗画像で90.8%のリCALL、ウェブ上での画像で71.2%のリCALLを達成し、属性認識の現実的な評価を可能にした。