[論文レビュー] Neural Networks for Fashion Image Classification and Visual Search

Fengzi Li, Shashi Kant+3 more|arXiv (Cornell University)|May 17, 2020

Advanced Image and Video Retrieval Techniques参考文献 2被引用数 4

ひとこと要約

本論文はファッション通販向けに二段階のディープラーニング手法を提案する：(1) ファッション商品の正確な画像分類のためのVGG19およびInception V3を用いたトランスファーラーニング、(2) コサイン類似度を用いたオートエンコーダー基盤のビジュアルサーチによる類似アイテムの検索。主な貢献は、販売者向けの自動タグ付けと購入者向けのビジュアルサーチを可能にする実用的なパイプラインであり、限られた解像度とクラス不均衡が見られる実世界のファッションデータセットにおいて高い精度を達成した。

ABSTRACT

We discuss two potentially challenging problems faced by the ecommerce industry. One relates to the problem faced by sellers while uploading pictures of products on the platform for sale and the consequent manual tagging involved. It gives rise to misclassifications leading to its absence from search results. The other problem concerns with the potential bottleneck in placing orders when a customer may not know the right keywords but has a visual impression of an image. An image based search algorithm can unleash the true potential of ecommerce by enabling customers to click a picture of an object and search for similar products without the need for typing. In this paper, we explore machine learning algorithms which can help us solve both these problems.

研究の動機と目的

• 販売者が手作業で商品をタグ付けするという課題に対処し、これにより分類誤りや検索可視性の低下が生じるのを防ぐ。
• キーワード依存の検索に依存する購入者側の課題を解決し、画像ベースのビジュアルサーチを可能にする。
• 実世界のファッションデータセットを用いて、事前学習済み畳み込みニューラルネットワーク（CNN）を用いたスケーラブルで高精度な画像分類システムの開発。
• オートエンコーダーとコサイン類似度を用いたビジュアルサーチシステムの実装および評価。
• ECで一般的なデータ不均衡および低解像度画像の制約下でのモデル性能の評価。

提案手法

• ファッションプロダクト画像（スモール）データセット上で、事前学習済みのVGG19およびInception V3モデルを微調整して画像分類を実行。
• トランスファーラーニングを用いて畳み込み層から特徴を抽出し、分類用に全結合層を訓練。
• エンコーダ・デコーダアーキテクチャを用いて、ファッション画像の低次元の潜在表現を学習するための深層オートエンコーダーを訓練。
• コサイン類似度を適用し、画像埋め込みを比較してビジュアルサーチパイプラインで上位k件の類似画像を検索。
• 少数クラスを削減するためのデータフィルタリングを実装し、データ不均衡の緩和のためのクラス再重み付けを適用。
• Google ColabのGPU/TPUを活用して効率的な学習を実現し、TensorFlowを用いてモデルを実装。

実験結果

リサーチクエスチョン

• RQ1 VGG19やInception V3といった事前学習済みCNNは、クラス不均衡が見られるにもかかわらず、ファッション商品画像の分類において高い精度を達成できるか？
• RQ2 オートエンコーダーは、ファッションECにおけるビジュアルサーチのための意味のある画像埋め込みをどれほど効果的に学習できるか？
• RQ3 学習された埋め込み間のコサイン類似度は、意味的および視覚的に類似したファッション商品をどの程度正確に検索できるか？
• RQ4 低解像度画像およびデータ不均衡は、画像分類およびビジュアルサーチモデルの性能にどのように影響するか？
• RQ5 外部画像（例：Webから取得した写真）を用いたビジュアルサーチは、実際のユーザークエリに一般化できるか？

主な発見

• Inception V3モデルがテストしたアーキテクチャの中で最高の精度を示し、画像分類タスクで93.7%の性能を達成した。
• オートエンコーダー基盤のビジュアルサーチは、意味的および視覚的に類似したファッションアイテムを効果的に検索できた。定性的な結果から、Tシャツやイヤリングといった一般的なカテゴリでは高い関連性が確認された。
• 外部画像をクエリとして使用した場合でも、モデルはデータセット内の関連する製品を検索する一般化能力を示した。
• 80×60ピクセルという低解像度の画像であっても、モデルは強力な性能を発揮したため、リアルタイムデプロイメントの可能性が示された。
• データ不均衡は依然として課題であり、特にレアカテゴリ（例：手袋：7枚のみ）では、モデルの一般化能力が制限された。
• データフィルタリングおよびクラス再重み付けの適用によりモデルの頑健性が向上したが、少数クラスの誤分類は依然として継続した。