[論文レビュー] Retrieving Similar E-Commerce Images Using Deep Learning

Rishab Sharma, Anirudha Vishvakarma|arXiv (Cornell University)|Jan 11, 2019

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 9

ひとこと要約

本論文は、eコマース画像における微細な視覚的類似性を捉えるために4096次元の画像埋め込みを学習する、シアンプルス型の深層畳み込みニューラルネットワークであるRankNetを提案する。新規の分数距離行列と角損失関数を用いることで、従来の手法および最先端のモデルを上回り、Street2Shopデータセットで94.98%の精度と88.576%のtop-20リCALLを達成した。

ABSTRACT

In this paper, we propose a deep convolutional neural network for learning the embeddings of images in order to capture the notion of visual similarity. We present a deep siamese architecture that when trained on positive and negative pairs of images learn an embedding that accurately approximates the ranking of images in order of visual similarity notion. We also implement a novel loss calculation method using an angular loss metrics based on the problems requirement. The final embedding of the image is combined representation of the lower and top-level embeddings. We used fractional distance matrix to calculate the distance between the learned embeddings in n-dimensional space. In the end, we compare our architecture with other existing deep architecture and go on to demonstrate the superiority of our solution in terms of image retrieval by testing the architecture on four datasets. We also show how our suggested network is better than the other traditional deep CNNs used for capturing fine-grained image similarities by learning an optimum embedding.

研究の動機と目的

• ファッション衣料品などの微細なカテゴリにおける視覚的に類似したeコマース商品を検索する課題に対処すること。
• パターンやテクスチャの微細な違いを捉えられない、手作業で設計された特徴量（例：SIFT, HOG）の限界を克服すること。
• 教師付き対照学習を用いて、強力で階層的な画像埋め込みを学習することで、画像検索のパフォーマンスを向上させること。
• ユーザーがアップロードした画像からの視覚的検索と、カタログ内での視覚的推薦の両方を統合したフレームワークの開発

提案手法

• ImageNetで事前学習済みのVGG19をベースにしたマルチスケールのシアンプルス型CNNアーキテクチャを採用し、4096次元の画像埋め込みを学習した。
• n次元空間における埋め込み間の距離を計算するための新規な分数距離行列を設計し、従来のユークリッド距離に代わって、より良い近接度推定を実現した。
• 負のペア間のマージンを最大化し、正のペア間のマージンを最小化することでネットワークを最適化するための角損失関数を導入した。
• 教師付きカリキュラム学習にインspiredされたペアサンプリング戦略を実装し、トレーニング中に高品質な正例および負例ペアを選択した。
• 過学習を防ぐためにデータ拡張とドロップアウトを適用し、事前学習済みVGG19の上位2層のみを微調整した。
• 学習済み埋め込み空間の可視化のためt-SNEを用い、意味的に類似した画像がまとまってクラスタリングされていることを確認した。

実験結果

リサーチクエスチョン

• RQ1 分数距離行列を用いたシアンプルス型CNNは、eコマース画像の視覚的類似性を測る際、従来のユークリッド距離を上回る性能を示せるか？
• RQ2 角損失関数は、標準的な対照損失と比較して、微細な視覚的類似性の学習を改善するか？
• RQ3 提案されたRankNetモデルは、手作業特徴量手法（例：SIFT, HOG）および他のディープラーニングベースラインと比較して、画像検索の精度で優れているか？
• RQ4 マルチスケール特徴量学習は、製品画像における微細な視覚的差を区別する能力をどの程度向上させるか？
• RQ5 本モデルは、多様なeコマースデータセットに一般化可能であり、top-20検索においても高いリCALLを維持できるか？

主な発見

• RankNetはStreet2Shopデータセットで94.98%の検証精度を達成し、AlexNetベースライン（90.8%）およびVisNet（93.39%）を顕著に上回った。
• RankNetはStreet2Shopテストセットでtop-20リCALLが88.576%に達し、AlexNetベースライン（14.400%）を大きく上回り、VisNet（87.914%）に近い水準に達した。
• 埋め込み空間のt-SNE可視化により、同じカテゴリに属する画像がまとまってクラスタリングされていることが確認され、効果的な意味的クラスタリングが実現していることが示された。
• 分数距離行列の使用により、画像の近接度に基づくランク付け性能が向上し、微細な視覚的類似性を捉える優れた能力を示した。
• 角損失関数とカリキュラムベースのペアサンプリングの組み合わせにより、収束が早まり、特に小規模または不均衡なデータセットにおいて一般化性能が向上した。
• 事前学習済みVGG19の上位2層のみを微調整し、データ拡張とドロップアウトを適用することで、過学習を効果的に防止し、モデルの頑健性が向上した。