[論文レビュー] Progressive Fashion Attribute Extraction

Sandeep Singh Adhikari, Sukhneer Singh+2 more|arXiv (Cornell University)|Jun 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 6

ひとこと要約

本論文は、共有ベースのResNetバックボーンと個々の属性用の分岐ヘッドネットワークを用いた段階的トレーニングフレームワークを提案する。このアプローチにより、スパarsely、不完全なアノテーションでも効率的なマルチクラス分類が可能となり、個々の属性モデルを上回る性能を発揮し、マルチラベル分類と同等の精度を達成する。また、欠損ラベルに対してロバストで、モデルサイズとトレーニング／推論時間も顕著に削減される。

ABSTRACT

Extracting fashion attributes from images of people wearing clothing/fashion accessories is a very hard multi-class classification problem. Most often, even catalogues of fashion do not have all the fine-grained attributes tagged due to prohibitive cost of annotation. Using images of fashion articles, running multi-class attribute extraction with a single model for all kinds of attributes (neck design detailing, sleeves detailing, etc) requires classifiers that are robust to missing and ambiguously labelled data. In this work, we propose a progressive training approach for such multi-class classification, where weights learnt from an attribute are fine tuned for another attribute of the same fashion article (say, dresses). We branch networks for each attributes from a base network progressively during training. While it may have many labels, an image doesn't need to have all possible labels for fashion articles present in it. We also compare our approach to multi-label classification, and demonstrate improvements over overall classification accuracies using our approach.

研究の動機と目的

• 実世界のECデータセットにおけるスパースかつ不完全なファッション属性アノテーションの課題に対処すること。
• 複数のファッション属性間で共有表現を活用するスケーラブルで効率的なディープラーニングフレームワークの開発。
• 欠損または曖昧なラベルが存在する中でも、細分化されたファッション属性の分類精度を向上させること。
• 異なる属性に対して数百もの個別モデルを維持する際の計算およびデプロイのオーバーヘッドを低減すること。
• ゼロダウンタイムのアップデートが可能な実用的な属性抽出システムのデプロイを可能とすること。

提案手法

• すべてのファッション画像に対して共有ベースのResNetバックボーンをトレーニングし、スリーブスタイルやネックタイプなどの各ファッション属性ごとに別々の分岐ヘッドネットワークを設ける。
• モデルは段階的にトレーニングされる：ベースネットワークの重みが固定された後、属性ごとに順次ファインチューニングが行われる。これにより、1枚の画像にすべてのラベルが存在しなくても、段階的な学習が可能になる。
• トレーニング中は、ベースネットワークを固定した後、分岐ヘッドの重みのみを更新する。これにより計算コストが低減され、Catastrophic Forgetting（壊滅的忘却）のリスクも軽減される。
• 本アプローチは、全ラベルが存在する必要があるマルチラベル分類とは異なり、部分的なラベルが存在する画像でもトレーニングが可能である。
• 生産環境パイプラインでは、Flask、Gunicorn、Nginxを用い、複数のモデルインスタンスを並列にデプロイし、負荷分散とゼロダウンタイムのアップデートを実現する。
• モデル圧縮と共有ベースアーキテクチャにより、すべての属性における合計ディスクサイズと推論時間が削減される。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、ラベルが不完全または欠落している画像から複数のファッション属性を効果的に抽出できるか？
• RQ2 共有および分岐ネットワークを用いた段階的トレーニングは、マルチラベル分類および個別属性モデルと比較して、精度とロバスト性においてどのように異なるか？
• RQ3 共有ベースネットワークは、数百のファッション属性にわたるモデルサイズと推論時間をどの程度削減できるか？
• RQ4 ゼロダウンタイムのアップデートが可能な、リアルタイムのファッション属性抽出に適したスケーラブルで生産向けのシステムをどのように構築できるか？
• RQ5 段階的トレーニングフレームワークは、全モデルを再トレーニングせずに新しい属性を動的に追加可能か？

主な発見

• 段階的学習モデルは、個別属性モデルを上回る分類精度を達成し、マルチラベル分類と同等の性能を示した。
• 重みの固定と段階的ファインチューニングにより、個別にすべてのモデルをトレーニングする場合と比較して、トレーニング時間を約50％削減した。
• ベースネットワークが共有されているため、1枚の画像に対して前方伝搬を1回だけ実行すればよく、推論時間が約40％短縮された。
• 平均してモデルディスクサイズが60％以上削減された。例として、ドレスの場合は個別モデルで1120MBであるのに対し、段階的モデルでは450MBにまで減少した。
• 複数のモデルインスタンスを並列にデプロイすることで、ゼロダウンタイムのアップデートが可能となり、シームレスなモデルバージョニングとA/Bテストが実現した。
• 負荷分散とGPU/CPU推論を活用した複数のAzureインスタンスで、ドレスの推論時間はGPU環境で1画像あたり0.12秒で達成された。