[논문 리뷰] CuratorNet: Visually-aware Recommendation of Art Images

Pablo Messina, Manuel Cartagena외 3명|arXiv (Cornell University)|2020. 09. 09.

Visual Attention and Saliency Detection참고 문헌 44인용 수 7

한 줄 요약

CuratorNet는 시각적 임베딩과 사용자 선호도 집계를 활용하여 재훈련 없이도 새로운 사용자와 아이템으로 일반화하는 시각적 인지 능력을 갖춘 신경망 아키텍처이다. 실제 물리적 회화 데이터셋에서 VBPR 및 VisRank와 같은 최신 기술들을 능가하며, 효과적인 순서 샘플링 전략 덕분에 랭킹 학습에서 뚜렷한 성과 향상을 이룬다.

ABSTRACT

Although there are several visually-aware recommendation models in domains like fashion or even movies, the art domain lacks thesame level of research attention, despite the recent growth of the online artwork market. To reduce this gap, in this article we introduceCuratorNet, a neural network architecture for visually-aware recommendation of art images. CuratorNet is designed at the core withthe goal of maximizing generalization: the network has a fixed set of parameters that only need to be trained once, and thereafter themodel is able to generalize to new users or items never seen before, without further training. This is achieved by leveraging visualcontent: items are mapped to item vectors through visual embeddings, and users are mapped to user vectors by aggregating the visualcontent of items they have consumed. Besides the model architecture, we also introduce novel triplet sampling strategies to build atraining set for rank learning in the art domain, resulting in more effective learning than naive random sampling. With an evaluationover a real-world dataset of physical paintings, we show that CuratorNet achieves the best performance among several baselines,including the state-of-the-art model VBPR. CuratorNet is motivated and evaluated in the art domain, but its architecture and trainingscheme could be adapted to recommend images in other areas

연구 동기 및 목표

• 온라인 예술 시장의 성장에도 불구하고 물리적 예술 작품에 대한 시각적 인지 추천에 관한 연구가 부족한 점을 보완하기 위해.
• 기존 모델들(예: VBPR)의 한계를 극복하고 재훈련 없이도 새로운 사용자와 아이템으로 일반화할 수 있는 추천 모델을 설계하기 위해.
• 물리적 예술 이미지 분야에 특화된 효과적인 트리플릿 샘플링 전략을 개발하여 랭킹 학습을 향상시키기 위해.
• 실제 물리적 회화 데이터셋을 기반으로 모델을 평가하여, 시각적 임베딩을 포함한 공개 가능한 기준 기준을 제공하기 위해.

제안 방법

• CuratorNet는 사전 훈련된 ResNet 시각 임베딩을 사용하여 아이템을 시각적 벡터로 매핑함으로써 시각적 인지 추천을 가능하게 한다.
• 사용자 선호도 벡터는 사용자가 상호작용한 아이템의 시각 임베딩을 집계하여 학습되며, 이는 새로운 사용자에 대한 일반화를 가능하게 한다.
• 모델는 Bayesian Personalized Ranking(BPR) 목적함수와 트리플릿 손실을 사용하여 훈련되며, 각 트리플릿은 사용자의 양성 아이템, 또 다른 양성 아이템, 그리고 음성 아이템으로 구성된다.
• 새로운 샘플링 지침이 도입되어 훈련용 트리플릿을 구성하며, 의미적으로 유사하지만 덜 선호되는 아이템을 음성 아이템으로 우선시함으로써 학습 효율성을 향상시킨다.
• 공유 가중치 레이어를 사용하여 고정된 파라미터 세트를 유지함으로써, 새로운 사용자와 아이템에 대해 0-샷 추론을 가능하게 한다.
• 모델는 익명화된 사용자 및 아이템 ID와 사전 추출된 시각적 특징을 갖춘 실제 물리적 회화 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 사용자 상호작용 기록과 시각적 임베딩만을 사용하여 재훈련 없이도 새로운 사용자와 아이템으로 일반화할 수 있는 시각적 인지 추천 모델은 가능한가?
• RQ2 예술 분야에 특화된 트리플릿 샘플링 전략은 물리적 예술 이미지 분야에서 랭킹 성능을 어떻게 향상시키는가?
• RQ3 잠재 요인 기반 협업 필터링 모델과 비교해 시각적 임베딩 집계 기반 모델이 유일한 아이템 설정에서 더 우수한 성능을 보이는가?
• RQ4 실제 물리적 회화 데이터셋에서 CuratorNet은 VBPR 및 VisRank와 같은 최신 기술 모델과 비교해 추천 정확도에서 어떻게 성과를 내는가?

주요 결과

• CuratorNet는 물리적 회화 데이터셋에서 모든 평가 지표에서 기준 모델들인 VBPR 및 VisRank를 포함한 모든 기준 모델들보다 뛰어난 성능을 기록했다.
• AUC(0.7204 대 0.6641)와 nDCG@20, nDCG@100에서 VBPR를 크게 앞서며, 더 뛰어난 일반화 능력과 랭킹 품질을 입증했다.
• 제안된 트리플릿 샘플링 지침은 무작위 음성 샘플링 대비 CuratorNet의 AUC를 0.7204에서 0.6602로 높여 뚜렷한 향상을 이뤘으며, p = 7.7×10⁻⁵로 통계적으로 유의미했다.
• VBPR 역시 새로운 샘플링 전략을 통해 AUC가 무작위 샘플링(0.5899)에서 유도 샘플링(0.6641)으로 향상되었으며, p = 1.6×10⁻⁶로 유의미했다.
• 본 연구에서 사용된 데이터셋은 익명화된 물리적 회화 거래 기록과 ResNet 시각 임베딩을 포함하며, 향후 연구를 지원하기 위해 공개되었다.
• 기존 협업 필터링 모델이 상호작용 빈도가 낮아 어려움을 겪는 고유 아이템 설정에서 CuratorNet의 성능은 특히 뛰어나다.