[論文レビュー] Images Don't Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank

Corey Lynch, Kamelia Aryafar+1 more|arXiv (Cornell University)|Nov 20, 2015

Image Retrieval and Classification Techniques参考文献 15被引用数 11

ひとこと要約

この論文は、事前学習されたVGG-19ネットワークからの深層視覚的意味特徴とテキスト特徴を統合することで、eコマース検索順位を向上させるマルチモーダルな学習による順位付けフレームワークを提案する。ImageNetで学習されたCNNからの特徴転送により、テキストのみのベースラインと比較して平均NDCGが1.7%向上し、テキストのみのモデルが誤って順位付けしてしまう視覚的に明確に異なるアイテムを効果的に分離できる。

ABSTRACT

Search is at the heart of modern e-commerce. As a result, the task of ranking search results automatically (learning to rank) is a multibillion dollar machine learning problem. Traditional models optimize over a few hand-constructed features based on the item's text. In this paper, we introduce a multimodal learning to rank model that combines these traditional features with visual semantic features transferred from a deep convolutional neural network. In a large scale experiment using data from the online marketplace Etsy, we verify that moving to a multimodal representation significantly improves ranking quality. We show how image features can capture fine-grained style information not available in a text-only representation. In addition, we show concrete examples of how image information can successfully disentangle pairs of highly different items that are ranked similarly by a text-only model.

研究の動機と目的

• 商品の説明テキストにキーワードの過剰使用が頻発するため、テキストのみの検索順位付けの限界を是正する。
• 深層畳み込みネットワークから得られる高レベルの視覚的意味特徴が、テキスト特徴で捉えきれない補足的情報を提供できるかどうかを調査する。
• 再訓練を完全に新たに開始することなく、既存の学習による順位付けパイプラインに視覚的特徴を統合できるスケーラブルな転移学習ベースの手法を開発する。
• 視覚的特徴が、テキストのみのモデルでは見えない細かいスタイルやコンテンツの違いを捉えることで、順位付けの質が向上することを実証する。

提案手法

• ImageNetで学習済みの19層のVGGスタイル畳み込みニューラルネットワーク（CNN）を、高レベルの視覚的意味を抽出する固定特徴抽出器として利用する。
• VGGネットワークの最終全結合層から画像埋め込みを抽出し、分類ヘッドを破棄することで、一般化された視覚的表現を保持する。
• リストイングのタイトルとタグに対してbag-of-wordsモデルを用いてテキスト特徴を表現し、別個のテキスト埋め込み空間を形成する。
• 各リストイングについて、視覚的特徴とテキスト特徴を連結して1つのマルチモーダル特徴ベクトルを構築する。
• クエリ固有の順位付けタスクにおけるNDCG最適化を目的に、マルチモーダル特徴を用いて学習による順位付けモデルを訓練する。
• 過学習を回避するために転移学習を適用し、限られたクエリ固有データにおいても、事前学習済みネットワークの一般化能力を活用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたCNNから得られる深層視覚的意味特徴は、大規模なeコマースの学習による順位付けシステムにおいて、順位付けパフォーマンスを向上させることができるか？
• RQ2 視覚的特徴が、テキスト記述では表現できない細かいスタイル的・コンテンツ的差異をどの程度捉えられるか？
• RQ3 テキストのみのモデルが同様に順位付けするが、視覚的に異なるリストイングを、視覚的特徴がどの程度正しく区別できるか？
• RQ4 マルチモーダル表現が、多様なクエリにおいて標準的な順位付け指標（NDCGなど）にどの程度定量的に影響を与えるか？

主な発見

• マルチモーダルモデルは、データセット全体でテキストのみのベースラインと比較して、統計的に有意な1.7%のNDCG向上を達成した。
• 純粋に画像ベースのモデルは、テキストのみのベースラインより2.2%劣位にあり、視覚的特徴のみでは不十分であるが、依然として有用であることが示された。
• クエリ「wolf」では、マルチモーダルモデルがNDCGを3.07%向上させ、関連性のあるワルフテーマのTシャツを、ナマケモノテーマのリストイングよりも394位上位に再順位付けした。
• クエリ「leather bag」では、マルチモーダルモデルがNDCGを2.56%向上させ、正しいリストイングをテキストのみのモデルと比較して660位上位に再順位付けした。
• クエリ「wedding band」では、マルチモーダルモデルがNDCGを1.55%向上させ、正しいリストイングをテキストのみのモデルと比較して427位上位に再順位付けした。
• クエリバンド全体にわたり上位リストの視覚的一致性が向上した。これは、画像特徴がテキストにないスタイルやコンテンツの違いを捉えることで、関連性が向上していることを示している。