[논문 리뷰] Human Curation and Convnets: Powering Item-to-Item Recommendations on Pinterest

Dmitry Kislyuk, Yuchen Liu외 3명|arXiv (Cornell University)|2015. 11. 12.

Video Analysis and Summarization참고 문헌 1인용 수 4

한 줄 요약

이 논문은 사용자 셀렉션 신호(이미지 및 보드 공존)와 사전 훈련된 컨브넷(VGG, Faster R-CNN)에서 유도된 깊이 있는 시각적 특징을 학습-랭킹 프레임워크에 통합한 Pinterest 기반 아이템 간 추천 시스템인 Related Pins을 제시한다. 이 시스템은 셀렉션된 메타데이터와 시각적 유사도를 활용하여 사용자 참여도를 50% 향상시켰으며, 시각적 유사도에 더 높은 가중치를 부여할 경우 객체 검출이 성능을 추가로 4.9% 향상시켰다.

ABSTRACT

This paper presents Pinterest Related Pins, an item-to-item recommendation system that combines collaborative filtering with content-based ranking. We demonstrate that signals derived from user curation, the activity of users organizing content, are highly effective when used in conjunction with content-based ranking. This paper also demonstrates the effectiveness of visual features, such as image or object representations learned from convnets, in improving the user engagement rate of our item-to-item recommendation system.

연구 동기 및 목표

• 핀 및 보드 상호작용에서 유도된 사용자 셀렉션 신호를 활용하여 Pinterest의 아이템 간 추천을 향상시키기.
• 딥 컨volution 네트워크(예: VGG, Faster R-CNN)에서 유도된 시각적 특징이 시각 콘텐츠 플랫폼에서 추천 정확도를 향상시키는 데 얼마나 효과적인지 평가하기.
• 핀에 포함된 주요 시각적 객체를 탐지하면 추천 품질이 향상되는지 조사하기.
• 학습-랭킹 프레임워크를 활용해 공동 필터링과 콘텐츠 기반 특징을 결합하여 랭킹을 최적화하기.
• 셀렉션된 메타데이터와 시각적 탐지에서 파생된 희소 및 교차 곱 특징의 스케일링 적용하기.

제안 방법

• 시스템은 핀과 보드의 공존 신호를 모델링하기 위해 PinJoin 및 BoardJoin 데이터 구조를 사용하며, 여러 핀과 보드를 통해 사용자가 셀렉션한 메타데이터를 포괄한다.
• 시각적 특징은 미세조정된 VGG 및 Faster R-CNN 모델을 사용해 추출되며, 전체 이미지 또는 검출된 객체에서 특징을 계산한다.
• 학습-랭킹 프레임워크는 시각적, 텍스트적, 그래프 신호(예: 카테고리, 공존)를 통합하여 후보 핀을 재랭킹한다.
• 모델은 32개의 희소 카테고리 교차 특징을 포함하며, 검출된 객체에 따라 시각적 유사도 가중치를 동적으로 조정한다.
• 객체 검출은 NMS를 적용한 Faster R-CNN를 통해 수행되며, 높은 신뢰도와 큰 크기의 객체(이미지의 ≥25% 또는 >0.9 신뢰도)를 가진 핀들만 처리된다.
• 객체 기반 재랭킹의 세 가지 변형을 테스트: 오직 객체 특징만 사용(변형 A), 시각적 가중치 증가(변형 B), 전체 이미지 특징과 함께 시각적 가중치 증가(변형 C).

실험 결과

연구 질문

• RQ1 이미지 및 보드 공존에서 유도된 사용자 셀렉션 신호가 아이템 간 추천 향상에 얼마나 효과적인가?
• RQ2 VGG 및 Faster R-CNN에서 유도된 딥 시각적 특징이 시각 콘텐츠 플랫폼에서 추천 품질 향상에 얼마나 기여하는가?
• RQ3 핀에 포함된 주요 시각적 객체를 탐지하면 추천 정확도가 향상되는가? 만약 그렇다면, 시각적 유사도는 어떻게 가중해야 하는가?
• RQ4 카테고리와 시각적 신호를 조합한 교차 곱 특징이 개별 특징을 초월해 참여도 향상에 얼마나 기여하는가?
• RQ5 객체 검출 존재 여부에 따라 시각적 유사도 가중치를 동적으로 조정하면 어떤 영향을 미치는가?

주요 결과

• Related Pins 시스템은 2015년 5월에서 11월 사이에 사용자 참여도(클릭률 또는 저장률 기준)가 50% 향상되었다.
• 기본 시각적 재랭킹 모델에 32개의 카테고리 교차 특징을 추가하면 추가로 1.2%의 참여도 향상이 이루어졌다.
• 전체 이미지 특징과 함께 시각적 유사도 가중치를 증가시킨 변형 C는 제어 모델 대비 4.9%의 참여도 향상을 달성했다.
• 오직 객체 특징만 사용하고 시각적 가중치를 증가시킨 변형 B는 0.9%의 참여도 향상을 기록했으며, 이는 전체 이미지 맥락이 없이 객체 특징만으로는 효과적이지 않음을 시사한다.
• 오직 객체 특징만 사용한 변형 A는 단지 0.5%의 향상에 그쳐, 객체 전용 특징은 높은 품질의 랭킹을 위해 충분한 맥락을 제공하지 못함을 나타낸다.
• 결과는 사용자 셀렉션 신호와 깊이 있는 시각적 특징이 학습-랭킹 프레임워크에 통합될 경우 시각 추천 시스템에서 매우 효과적임을 입증한다.