[論文レビュー] CuratorNet: Visually-aware Recommendation of Art Images

Pablo Messina, Manuel Cartagena+3 more|arXiv (Cornell University)|Sep 9, 2020

Visual Attention and Saliency Detection参考文献 44被引用数 7

ひとこと要約

CuratorNet は、視覚的埋め込みとユーザープレファレンスの集約を活用することで、再訓練なしに新しいユーザーやアイテムに一般化できる視覚的注意をもつ推薦のためのニューラルネットワークアーキテクチャである。実世界の物理的絵画データセットにおいて、VBPR や VisRank といった最先端のモデルを上回り、効果的なランキング学習のための新しい三つ組みサンプリング戦略から顕著な向上を示している。

ABSTRACT

Although there are several visually-aware recommendation models in domains like fashion or even movies, the art domain lacks thesame level of research attention, despite the recent growth of the online artwork market. To reduce this gap, in this article we introduceCuratorNet, a neural network architecture for visually-aware recommendation of art images. CuratorNet is designed at the core withthe goal of maximizing generalization: the network has a fixed set of parameters that only need to be trained once, and thereafter themodel is able to generalize to new users or items never seen before, without further training. This is achieved by leveraging visualcontent: items are mapped to item vectors through visual embeddings, and users are mapped to user vectors by aggregating the visualcontent of items they have consumed. Besides the model architecture, we also introduce novel triplet sampling strategies to build atraining set for rank learning in the art domain, resulting in more effective learning than naive random sampling. With an evaluationover a real-world dataset of physical paintings, we show that CuratorNet achieves the best performance among several baselines,including the state-of-the-art model VBPR. CuratorNet is motivated and evaluated in the art domain, but its architecture and trainingscheme could be adapted to recommend images in other areas

研究の動機と目的

• オンラインアート市場の拡大にもかかわらず、物理的アートにおける視覚的注意をもつ推薦に関する研究が不足していることに対処する。
• VBPR らの既存モデルの制限を克服し、再訓練なしに新しいユーザーやアイテムに一般化できる推薦モデルを設計する。
• アート分野に特化した効果的な三つ組みサンプリング戦略を開発し、より良いランキング学習を実現する。
• 実世界の物理的絵画データセットを用いてモデルを評価し、視覚的埋め込みを含む公開可能なベンチマークを提供する。

提案手法

• CuratorNet は事前学習済みの ResNet 視覚的埋め込みを用いてアイテムを視覚的ベクトルにマップし、視覚的注意をもつ推薦を可能にする。
• ユーザープレファレンスベクトルは、ユーザーがインタラクトしたアイテムの視覚的埋め込みを統合することで学習され、未観測のユーザーへの一般化を可能にする。
• モデルは、各三つ組みがユーザーポジティブアイテム、別のポジティブアイテム、およびネガティブアイテムからなる、ベイジアンパーソナライズドランクイング（BPR）目的関数と三つ組み損失を用いて訓練される。
• 学習効率を高めるために、意味的に類似しているが好まれていないアイテムをネガティブとして優先する、新たなサンプリングガイドラインが導入されている。
• 共有重み層を用いることで、固定されたパrameterセットを維持し、新しいユーザーやアイテムに対するゼロショット推論を可能にする。
• 匿名化されたユーザーやアイテムID、事前に抽出された視覚特徴を備えた実世界の物理的絵画データセット上で、モデルはエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 視覚的埋め込みとユーザーのインタラクション履歴のみを用いて、再訓練なしに新しいユーザーやアイテムに一般化できる視覚的注意をもつ推薦モデルは実現可能か？
• RQ2 分野特化型の三つ組みサンプリング戦略は、物理的アート画像の文脈においてランキング性能をどのように向上させるか？
• RQ3 潜在要因に基づく協調フィルタリングに依存するモデルと比較して、視覚的埋め込みの集約に基づくモデルは、ワンオブア kind のアイテム設定において優れた性能を示すか？
• RQ4 実世界の物理的絵画データセットにおいて、CuratorNet は VBPR や VisRank といった最先端のモデルと比較して、推薦精度で優れているか？

主な発見

• CuratorNet は、物理的絵画データセットにおいて、VBPR や VisRank を含むすべてのベースラインと比較して、すべての評価指標で最高の性能を達成した。
• AUC（0.7204 対 0.6641）、nDCG@20、nDCG@100 において、VBPR より顕著に優れており、優れた一般化性能とランキング品質を示した。
• 提案された三つ組みサンプリングガイドラインは、ランダムなネガティブサンプリングと比較して、CuratorNet の AUC を顕著に向上（0.7204 対 0.6602）させ、p = 7.7×10⁻⁵ を示した。
• VBPR も新しいサンプリング戦略の恩恵を受けており、AUC はランダムサンプリング時（0.5899）からガイド付きサンプリング時（0.6641）に顕著に向上し、p = 1.6×10⁻⁶ を示した。
• 本研究で使用されたデータセット（匿名化された物理的絵画取引データと ResNet 視覚的埋め込みを含む）は、今後の研究を支援するため公開されている。
• モデルの性能は、伝統的な協調フィルタリングが疎な相互作用のため困難となる高頻度のワンオブア kind のアイテム設定において特に優れていた。