[論文レビュー] Human Curation and Convnets: Powering Item-to-Item Recommendations on Pinterest

Dmitry Kislyuk, Yuchen Liu+3 more|arXiv (Cornell University)|Nov 12, 2015

Video Analysis and Summarization参考文献 1被引用数 4

ひとこと要約

本論文では、VGG や Faster R-CNN からの事前学習済み畳み込みニューラルネットワーク（convnet）の深層視覚特徴と、画像およびボードの共起から得られるユーザーのキュレーション信号を統合した、学習によるランク付けフレームワークを用いた、Pinterest のアイテム同士の推薦システム「Related Pins」を提示する。このシステムは、キュレートされたメタデータと視覚的類似性を活用することで、ユーザーの関与度を50%向上させた。オブジェクト検出を組み込むことで、視覚的類似性の重みをより高く設定した場合、さらに4.9%のパフォーマンス向上が達成された。

ABSTRACT

This paper presents Pinterest Related Pins, an item-to-item recommendation system that combines collaborative filtering with content-based ranking. We demonstrate that signals derived from user curation, the activity of users organizing content, are highly effective when used in conjunction with content-based ranking. This paper also demonstrates the effectiveness of visual features, such as image or object representations learned from convnets, in improving the user engagement rate of our item-to-item recommendation system.

研究の動機と目的

• Pinterest におけるアイテム同士の推薦を、ピンおよびボードの相互作用から得られるユーザーのキュレーション信号を活用することで改善すること。
• 深層畳み込みニューラルネットワーク（例：VGG、Faster R-CNN）からの視覚的特徴が、視覚コンテンツプラットフォームにおける推薦の関連性をどのように向上させるかを評価すること。
• ピンに含まれる支配的視覚オブジェクトの検出が、推薦品質を向上させるかを調査すること。
• 学習によるランク付けフレームワークを用いて、協調フィルタリングとコンテンツベース特徴を組み合わせることでランク付けを最適化すること。
• キュレートされたメタデータおよび視覚的検出から導出されるスパarsity とクロスプロダクト特徴のスケーラビリティを高めること。

提案手法

• システムは、画像およびボードの共起信号をモデル化するため、PinJoin および BoardJoin のデータ構造を用いる。これにより、複数のピンおよびボードにわたるユーザーによるキュレーションされたメタデータを捉える。
• 視覚的特徴は、微調整された VGG および Faster R-CNN モデルを用いて抽出され、特徴量はフル画像または検出されたオブジェクト上で計算される。
• 学習によるランク付けフレームワークが、視覚的、テキスト的、グラフ的信号（例：カテゴリ、共起）を統合し、候補となるピンの再ランク付けを実行する。
• モデルは 32 種類のスパースカテゴリクロス特徴を組み込み、検出されたオブジェクトに応じて視覚的類似性の重みを動的に調整する。
• オブジェクト検出は、NMS を用いた Faster R-CNN で実施され、高信頼度で大規模なオブジェクト（画像の25%以上または0.9以上の信頼度）を有するピンのみが処理対象となる。
• オブジェクトベースの再ランク付けの3つのバリエーションをテストした：オブジェクト特徴のみを使用する（A）、視覚的重みを増加させる（B）、フル画像特徴と併せて視覚的重みを増加させる（C）。

実験結果

リサーチクエスチョン

• RQ1 画像およびボードの共起から得られるユーザーのキュレーション信号は、アイテム同士の推薦を改善するためにどの程度効果的か？
• RQ2 VGG や Faster R-CNN からの深層視覚的特徴は、視覚的コンテンツプラットフォームにおける推薦品質をどの程度向上させるか？
• RQ3 ピンに含まれる支配的視覚オブジェクトの検出は、推薦の関連性を向上させるか。もしそうならば、視覚的類似性の重み付けはどのように行うべきか？
• RQ4 カテゴリと視覚的信号を組み合わせたクロスプロダクト特徴は、個々の特徴に比べて、関与度をさらに向上させるか？
• RQ5 オブジェクト検出の有無に応じて視覚的類似性の重みを動的に調整することで、どのような影響が生じるか？

主な発見

• Related Pins システムは、2015年5月から2015年11月にかけて、ユーザーの関与度（クリックスルーレートまたは保存率）が50%向上した。
• ベースの視覚的再ランク付けモデルに32のカテゴリクロス特徴を追加することで、さらに1.2%の関与度向上が達成された。
• オブジェクト検出をフル画像特徴と併せて、視覚的類似性の重みを高めたバリエーション C は、コントロールモデル比で4.9%の関与度向上を達成した。
• オブジェクト特徴のみで視覚的重みを高めたバリエーション B は、0.9%の関与度向上を達成した。これは、オブジェクト特徴のみではフル画像の文脈が欠けるため、効果が限定的であることを示している。
• オブジェクト特徴のみを使用したバリエーション A は、わずか0.5%の向上にとどまり、オブジェクト特徴のみでは高品質なランク付けに十分な文脈が欠けることが示された。
• 結果から、ユーザーのキュレーション信号と深層視覚的特徴が、視覚的推薦システムにおいて学習によるランク付けフレームワークで組み合わされると、極めて有効であることが明らかになった。